Compréhension de scène par des llms à partir d'openusd pour la robotique h/f

Description du poste

:

Contexte
La compréhension de l’environnement est essentielle pour les systèmes robotiques. Les robots ont besoin d’informations fiables sur les objets, les espaces et leurs relations pour agir efficacement. Les grands modèles de langue (LLM) sont de plus en plus utilisés comme couches d’orchestration en robotique. Leur raisonnement s’améliore lorsqu’ils reçoivent des représentations de scènes structurées et informatives. Des travaux récents ont montré que les LLM bénéficient fortement des 3D Scene Graphs(3DSG). Les 3DSG fournissent une structure explicite et claire de l’environnement (objets, relations, sémantique), que les LLM peuvent exploiter pour réaliser un raisonnement et une planification plus précis. Universal Scene Description (USD) devient également central en robotique et dans les systèmes de jumeaux numériques, car il fournit une représentation riche des scènes 3D. Cependant, dans le contexte des LLM, USD est généralement utilisé uniquement comme texte brut. Sous cette forme, il contient une grande quantité d’informations bas niveau ou peu pertinentes, ce qui rend difficile pour les LLM d’identifier la structure réellement utile de la scène. Cela met en évidence un manque dans la littérature actuelle :Comment transformer ou structurer les descriptions de scènes USD pour que les LLM puissent les exploiter efficacement ?

Objectifs du stage
• Explorer la littérature existante sur les représentations de scènes pour la robotique, en particulier les approches basées sur les 3D Scene Graphs (3DSG), et étudier les méthodes utilisées pour améliorer le raisonnement des LLM sur des données 3D structurées.
• Étudier comment simplifier et organiser les scènes USD pour fournir aux LLM des informations plus claires et plus faciles à utiliser.
• Concevoir et implémenter différents traitements des scènes USD (en supprimant les éléments inutiles, en regroupant les objets importants ou en construisant un graphe de connaissances) et évaluer l’impact de ces transformations sur les performances des LLM à l’aide.
• Développer un agent IA capable de comprendre une scène et d’appeler des outils externes pour récupérer des informations structurées ou interagir avec un système robotique.
• La publication de résultats scientifiques est fortement encouragée.
• Selon l’avancement, le/la stagiaire aura également la possibilité de tester ses travaux sur des plateformes robotiques réelles.

#CEA-List

Moyens / Méthodes / Logiciels Cluster de calcul (HPC) Profil du candidat

Compétences requises
• Étudiant(e) en école d’ingénieur ou en Master en informatique, intelligence artificielle, robotique ou domaines similaires.
• Fort intérêt pour la recherche et l’expérimentation.
• Solides compétences de programmation (Python, C/C++).
• Motivation pour explorer le format de description de scène OpenUSD.

Compétences appréciées
• Expérience avec les graphes ou les structures sémantiques.
• Expérience avec des formats de scènes 3D ou des outils de simulation robotique.
• Première expérience avec les LLM ou les systèmes d’agents.

Conformément aux engagements pris par le CEA en faveur de l'intégration des personnes handicapées, cet emploi est ouvert à toutes et à tous. Le CEA propose des aménagements et/ou des possibilités d'organisation pour l'inclusion des travailleurs handicapés.