Post-doctorant f/h optimisation bayésienne pour l’élagage et le fine-tuning des grands modèles de langage

Contexte et atouts du poste

La montée en échelle rapide des grands modèles de langage (LLMs) a créé un goulot d’étranglement computationnel fondamental : l’élagage (pruning) et le fine-tuning nécessitent des optimisations sur des problèmes coûteux et de haute dimension. Les algorithmes d’optimisation existants peinent à explorer efficacement ces espaces de recherche.

Ce projet propose un nouveau paradigme : l’optimisation fractale, une stratégie de recherche multi-résolution et auto-similaire inspirée de la géométrie fractale, permettant une exploration structurée des espaces de paramètres à différentes échelles.

Mission confiée

Ce projet postdoctoral vise à :
- Développer des algorithmes d’optimisation bayésienne fractale à grande échelle
• Intégrer des dynamiques de recherche fractale dans l’optimisation bayésienne (BO)
• Développer des modèles de substitution fractals pour les fonctions d’acquisition
• Améliorer le compromis exploration–exploitation dans des problèmes BO de grande dimension

- Appliquer ces méthodes à l’élagage et au fine-tuning des LLMs
• Utiliser l’optimisation bayésienne fractale pour la parcimonisation structurée (pruning) des réseaux de transformeurs
• Optimiser des stratégies de fine-tuning efficaces en nombre de paramètres (par ex. adaptations de type LoRA)
• Réduire les coûts de calcul tout en préservant les performances sur les tâches aval

- Permettre une implémentation parallèle
• Adapter les algorithmes d’optimisation fractale à des architectures parallèles
• Concevoir des variantes asynchrones et efficaces en communication pour GPUs

Principales activités

L’approche combine développement théorique, conception algorithmique et ingénierie système :
• Noyau d’optimisation fractale : introduction d’opérateurs d’optimisation récursifs alternant entre exploration globale grossière et raffinement local fin, formant une hiérarchie fractale des étapes de recherche
• Extension bayésienne : intégration des dynamiques fractales dans des modèles de substitution (processus gaussiens ou ensembles profonds), permettant une optimisation multi-échelle tenant compte de l’incertitude
• Intégration aux LLMs : application aux architectures de transformeurs pour l’élagage structuré (têtes d’attention, blocs MLP) et le fine-tuning efficace en paramètres
• Déploiement parallèle : implémentation via des frameworks distribués (MPI + communication Kokkos), optimisée pour des systèmes parallèle avec synchronisation asynchrone des paramètres

Compétences

Compétences techniques et niveau requis : machine learning, IA, calcul parallèle, optimisation Bayésienne

Langues : anglais

Avantages

1. Restauration subventionnée
2. Transports publics remboursés partiellement
3. Congés: 7 semaines de congés annuels + 10 jours de RTT (base temps plein) + possibilité d'autorisations d'absence exceptionnelle (ex : enfants malades, déménagement)
4. Possibilité de télétravail et aménagement du temps de travail
5. Équipements professionnels à disposition (visioconférence, prêts de matériels informatiques, etc.)
6. Prestations sociales, culturelles et sportives (Association de gestion des œuvres sociales d'Inria)
7. Accès à la formation professionnelle
8. Sécurité sociale

Rémunération

Salaire brut mensuel: 2788 €