Thèse "génération automatique de contenus immersifs et interactifs pour le technicien augmenté

Votre rôle

Votre rôleest d’effectuer un travail de thèse sur: «Génération automatique de contenus immersifs, interactifs et scénarisés pour le technicien augmenté»

Contexte global et problématique du sujet
La réalité augmentée et la réalité virtuelle ont démontré leur efficacité pour former les techniciens d’intervention et les assister sur le terrain. Ces technologies permettent notamment d’afficher des guides pas à pas aux techniciens lors de leurs interventions décrivant des scénarios de montage ou de maintenance. Un exemple concret est la réalisation d’une application de réalité augmentée pour guider un technicien lors de l’installation d’un équipement dans un data-center. Une telle application peut guider le technicien vers l’emplacement du matériel à installer puis vers la baie ciblée, indiquer la position de ce nouvel équipement, détailler les câblages à réaliser, tout en affichant des consignes de sécurité.

La thèse a pour objectif de faciliter la création de ce type de contenus 3D afin de permettre à des utilisateurs sans compétences en développement de définir des scénarios d’assistance et de formation immersifs.

• Objectif scientifique – résultats et verrous à lever
L'objectif de la thèse est de concevoir un système de génération automatique de contenus de formations et d’assistance de réalité augmentée à destination des technologies en s’appuyant sur des modèles d’IA génératives. En particulier, ce système devra exploiter les informations de l’environnement réel dans lequel se déroule l’intervention, des bases de connaissances métier (documentation technique, contenus de formation) et les tâches à réaliser (ordre de travail). Les principaux verrous scientifiques à lever sont :

* Extraction, organisation des connaissances d’une base documentaire dans un contexte métier très technique et mise en relation de celles-ci avec la situation rencontrée par le technicien : environnement réel et tâche à réaliser
* Sélection et filtrage des informations pour obtenir le niveau de précision adéquate par rapport aux besoins et compétences de l’utilisateur final
* Structuration de ces connaissances sous la forme d’un scénario pédagogique d’assistance ou de formation
* Passage d’un scénario à une expérience immersive interactive ancrée (compréhension spatiale) à l’environnement réel de l’utilisateur : sélection et placement de contenus 3D, déroulement du scénario en fonction des interactions de l’utilisateur
* Établissement de métriques permettant d’estimer la pertinence des contenus créés (validation)

Les approches envisagées comprennent l'utilisation de la génération augmentée de récupération (RAG) pour l’utilisation de base de connaissances, des grands modèles de langages (LLM) pour la génération des contenus, et l’usage d’interactions immersives (RA, RV) pour customiser et valider les résultats produits. Les réalisations attendues incluent des démonstrateurs validés en environnement réel, des publications scientifiques et le dépôt de brevets.