Généralisation compositionnelle des modèles de langage multimodaux

Description du sujet de thèse

Domaine

Défis technologiques

Sujets de thèse

Généralisation compositionnelle des modèles de langage multimodaux

Contrat

Thèse

Description de l'offre

L'avènement des modèles de fondation a permis d'améliorer les performances dans plusieurs domaines de l'IA, en particulier en vision par ordinateur et traitement du langage naturel. Cependant, malgré l'énorme quantité de données utilisées pour les entrainer, ces modèles sont encore limités dans leur capacité à généraliser, en particulier dans un domaine spécifique, mal représenté sur le Web. Une modélisation de ce problème est la généralisation compositionnelle, c'est-à-dire la capacité d'apprendre à démêler les concepts pendant l'entrainement et à les recombiner dans une composition inédite lors de la phase de production/test. La thèse abordera cette
question, en visant à proposer des représentations visuelles qui permettent aux grands modèles génériques de langage visuel de généraliser la composition dans des domaines spécifiques. Elle étudiera des stratégies visant à réduire l'apprentissage de 'raccourcis' artificiels, en favorisant une compréhension plus profonde des structures de composition dans les données multimodales. Elle abordera également le problème de la généralisation de la composition au-delà des simples paires attribut-objet, en saisissant une sémantique plus subtile et plus complexe. La thèse proposée vise des avancées à un niveau assez amont, mais présente de nombreux intérêts pratiques potentiels dans les domaines de la santé, de l'administration et des services, de la sécurité et de la défense, de l'industrie manufacturière et de l'agriculture.

Université / école doctorale

Sciences et Technologies de l'Information et de la Communication (STIC)
Paris-Saclay

Localisation du sujet de thèse

Site

Saclay

Critères candidat

Formation recommandée

master ou école d'ingénieur en data science ou math appli

Demandeur

Disponibilité du poste

01/10/2025

Personne à contacter par le candidat

TUO Aboubacar
CEA
DRT/DIASI//LVA
CEA-Saclay, BP 28, GIF-SUR-YVETTE CEDEX, ESSONNE 91191, France

Tuteur / Responsable de thèse

LE BORGNE Hervé
CEA
DRT/DIASI//LASTI
CEA Saclay - Nano-INNOV
Bat 861 - PC 184 - F91191 Gif-sur-Yvette Cedex, France
+33 (0)1 69 08 0152

En savoir plus #J-18808-Ljbffr