Doctorant h/f.

Le poste proposé

.. Bienvenue dans une grande école d’ingénieurs qui a fait de la promotion sociale par l’excellence un modèle de réussite. Rejoignez un environnement stimulant où l’esprit d’équipe, la diversité des projets et l’autonomie ne font qu’un.

Titre : Émergence de vigilances contextuelles en robotique par apprentissage social pour la détection de risques industriels et d’inefficacités énergétiques en milieu professionnel

Domaines scientifiques : Intelligence artificielle, Robotique, Interactions sociales

Mots clés : Robotique sociale, apprentissage interactif, vigilance contextuelle

Encadrement

Directeur de thèse :

Fabrice DUVAL, Enseignant Chercheur

Encadrant (s) :

Hakim GUEDJOU, Enseignant Chercheur

Beatrice BIANCARDI, Enseignante Chercheuse

Travaux de Recherche

Résumé

Cette thèse explore comment un robot peut développer des capacités de vigilance contextuelle via l’apprentissage social en interaction avec des humains. En observant et reproduisant des démonstrations, le robot apprend à détecter des situations critiques dans son environnement. L’objectif est de concevoir un système capable de s’adapter à divers contextes, comme la réduction énergétique ou la sécurité industrielle. L’approche mise sur des interactions intuitives pour permettre aux non-experts de transmettre leurs connaissances au robot. Ce travail s’inscrit à l’intersection de la robotique cognitive, de l’intelligence artificielle et des sciences humaines.

Projet de thèse

Contexte scientifique

Dans un monde où les environnements de travail deviennent de plus en plus complexes et dynamiques, les systèmes robotiques doivent dépasser les capacités de perception basiques pour adopter une compréhension contextuelle plus fine (Balažević et al., ; Ni et al., ). La notion de vigilance contextuelle fait référence à la capacité d’un agent à détecter de manière proactive des situations à risque ou inefficaces, en tenant compte des relations entre objets, actions humaines et environnement. Cela représente un enjeu crucial aussi bien dans des applications de sécurité industrielle (ex. détection d’anomalies ou de configurations dangereuses) que dans des démarches de sobriété énergétique (ex. gaspillage lié à un chauffage actif dans une pièce aérée).

L’apprentissage social, et plus spécifiquement l’apprentissage par démonstration (Argall et al., ; Correia and Alexandre, ), apparaît comme une stratégie prometteuse pour doter les robots de telles compétences. Cette approche permet à des utilisateurs non experts de transmettre intuitivement au robot des savoirs contextuels difficiles à modéliser explicitement (Engelbracht et al., ; Luo et al., ), en lui montrant directement les situations pertinentes. Couplée à des avancées en perception multimodale et en apprentissage adaptatif, cette méthode favorise le développement de robots autonomes capables de généraliser des comportements appris à des contextes variés, tout en restant compréhensibles et acceptables par les humains. La recherche s’inscrit ainsi à la croisée de la robotique cognitive, de l’intelligence artificielle centrée humain et des sciences comportementales.

Sujet de thèse

Cette thèse a pour objectif principal de concevoir un cadre d’apprentissage permettant à un robot de développer une vigilance contextuelle, c’est-à-dire la capacité à détecter de manière autonome et pertinente des situations problématiques dans son environnement. L’originalité de cette démarche repose sur l’apprentissage social : le robot apprend non pas à partir de jeux de données préalablement étiquetés, mais directement auprès des utilisateurs humains, via des démonstrations et des interactions situées (Engelbracht et al., ; Luo et al., ). Ces situations peuvent recouvrir des domaines variés, allant de la sécurité industrielle à la performance énergétique, en passant par des problématiques de conformité ou de fonctionnement anormal.

Le coeur scientifique de la thèse porte ainsi sur le développement de modèles capables d’interpréter des scènes complexes en mobilisant les signaux contextuels pertinents : non seulement les objets présents, mais aussi leurs relations spatiales et fonctionnelles, les usages associés, et les intentions sous-jacentes des humains (Arashpour, Ngo and Li, ; Balažević et al., ; Dolatyabi, Regan and Khodayar, ). L’apprentissage par démonstration doit permettre au robot d’encoder des représentations flexibles et généralisables, afin qu’il puisse, à terme, repérer de nouvelles occurrences de ces situations sans supervision directe. Un effort particulier sera mené pour concevoir des modalités d’interaction simples et accessibles aux non-experts, afin d’intégrer cette capacité d’apprentissage dans des contextes de travail réels.

Dans un second temps, le robot pourra également apprendre, toujours par démonstration, des gestes correctifs pour réagir aux situations identifiées. Pour cette phase, des modèles existants issus de l’état de l’art en apprentissage de comportements par démonstration et en reconnaissance gestuelle seront mobilisés (Billard et al., ; Argall et al., ; Correia and Alexandre, ), puis adaptés aux contraintes du contexte considéré. Ce second volet permettra de boucler le cycle entre détection, décision et action, en assurant que le robot ne se limite pas à une fonction d’alerte, mais contribue activement à la résolution des anomalies ou dysfonctionnements.

Enfin, une attention sera portée à l’effet de cette collaboration sur les comportements et motivations des utilisateurs eux-mêmes. Enseigner au robot des situations et des gestes peut avoir un effet de retour sur l’humain (Koh, Lee and Lim, ): renforcement de l’attention, meilleure appropriation des bonnes pratiques, ou évolution des comportements et des motivations. Ces dynamiques seront explorées en s’appuyant sur des théories issues des sciences cognitives, comme la théorie de l’auto-perception (Bem, ) ou de dissonance cognitive (Festinger, ), pour comprendre comment l’interaction avec un robot apprenant pourrait devenir un levier de changement d’abord individuel et ensuite organisationnel.

Antériorité du sujet dans le laboratoire

Ce sujet de thèse s’inscrit naturellement dans la continuité des travaux menés par l’équipe encadrante, qui dispose d’une expertise dans les domaines clés mobilisés ici. Les recherches antérieures ont notamment porté sur la génération de données synthétiques pour l’apprentissage visuel en robotique, en particulier dans des environnements industriels complexes, offrant ainsi une base méthodologique solide pour aborder la reconnaissance contextuelle de situations problématiques (Laignel et al., ).

Des travaux ont également exploré les mécanismes d’adaptation dans l’interaction humain-agent, en étudiant comment ajuster dynamiquement le comportement d’un agent socialement interactif en fonction des réactions et préférences de l’utilisateur, ce qui est essentiel pour structurer une interaction pédagogique efficace lors des phases d’apprentissage par démonstration (Biancardi, Dermouche and Pelachaud, ).

Enfin, une attention particulière a déjà été portée à l’influence des caractéristiques individuelles des utilisateurs sur les dynamiques d’apprentissage en robotique sociale, ce qui alimente ici la réflexion sur l’impact mutuel de l’interaction humain-robot (Guedjou et al., ).

L’ensemble de ces travaux constitue une assise scientifique cohérente et complémentaire, qui soutient pleinement l’ambition du projet : faire émerger, par l’apprentissage social, une vigilance contextuelle chez le robot, tout en analysant les effets de cette relation d’apprentissage sur l’humain.

Programme de travail

Le programme de travail, d’une durée de 36 mois, se structure en deux phases principales, chacune articulée autour d’objectifs théoriques, techniques et expérimentaux. La première phase, prioritaire et plus longue (mois 1 à 24), sera consacrée à l’apprentissage de la détection des situations problématiques par démonstration. Elle comprendra une revue de littérature approfondie sur les modèles de perception contextuelle et l’apprentissage par démonstration, l’analyse comparative de modèles à partir de jeux de données publics, ainsi que la définition des scénarios d’expérimentation centrés sur la vigilance contextuelle (performance énergétique et sécurité industrielle). Cette phase verra également la constitution d’un dataset dédié, le développement d’un modèle de perception contextuelle, la conception d’interfaces d’interaction humain-robot et une première expérimentation en environnement réel. La seconde phase (mois 25 à 36) portera sur l’apprentissage des gestes correctifs en s’appuyant sur des modèles existants de l’état de l’art, adaptés aux cas d’usage identifiés, avec une seconde expérimentation centrée sur la sécurité industrielle. Ces deux phases seront accompagnées d’une évaluation continue de l’impact de l’interaction sur les comportements des utilisateurs. L’ensemble du projet s’appuiera sur le robot TIAGo comme plateforme expérimentale.

Production scientifique/technique attendue

La thèse vise à aboutir à plusieurs contributions scientifiques et techniques. Sur le plan théorique, elle proposera un cadre original d’apprentissage social pour la détection contextuelle de situations problématiques en robotique, avec une formalisation des mécanismes de généralisation à partir de démonstrations humaines. Sur le plan technique, elle donnera lieu à la mise en oeuvre d’un système robotique intégrant des modules de perception, de reconnaissance de situations et d’exécution gestuelle, validés en environnement réel. Des publications dans des conférences et revues internationales en robotique, IA et interaction humain-machine sont attendues, ainsi qu’un démonstrateur fonctionnel illustrant le potentiel d’adaptation contextuelle et d’apprentissage interactif du robot. Une analyse expérimentale sur l’impact comportemental de l’interaction viendra enrichir les résultats multidisciplinaires de la thèse, et pourra être publiée dans des revues interdisciplinaires internationales. Enfin, dans le cadre de l’appel à projets des Pays de la Loire, la thèse s’inscrira dans une dynamique de valorisation scientifique ouverte sur la société. Le doctorant sera ainsi impliqué dans des actions de médiation scientifique à destination du grand public.

Contexte

Présentation du laboratoire

CESI LINEACT (UR ), Laboratoire d’Innovation Numérique pour les Entreprises et les Apprentissages au service de la Compétitivité des Territoires, anticipe et accompagne les mutations technologiques des secteurs et des services liés à l’industrie et au BTP. La proximité historique de CESI avec les entreprises est un élément déterminant pour nos activités de recherche, et a conduit à concentrer les efforts sur une recherche appliquée proche de l’entreprise et en partenariat avec elles. Une approche centrée sur l’humain et couplée à l’utilisation des technologies, ainsi que le maillage territorial et les liens avec la formation, ont permis de construire une recherche transversale; elle met l’humain, ses besoins et ses usages, au centre de ses problématiques et aborde l’angle technologique au travers de ces apports.

Sa recherche est organisée selon deux équipes scientifiques interdisciplinaires et deux domaines applicatifs.

• L’équipe « Apprendre et Innover » relève principalement des Sciences cognitives, Sciences sociales et Sciences de gestion, Sciences et techniques de la formation et celles de l’innovation. Les principaux objectifs scientifiques visés sont la compréhension des effets de l’environnement, et plus particulièrement des situations instrumentées par des objets techniques (plateformes, ateliers de prototypage, systèmes immersifs…) sur les processus d’apprentissage, de créativité et d’innovation.

• L’équipe « Ingénierie et Outils Numériques » relève principalement des Sciences du Numérique et de l’Ingénierie. Les principaux objectifs scientifiques portent sur la modélisation, la simulation, l’optimisation et le pilotage de composants, systèmes et processus complexes et des interactions Humains-systèmes dans des systèmes cyber-physiques et jumeaux numériques.

Ces deux équipes développent et croisent leurs recherches dans les domaines applicatifs de l’Industrie du Futur, de la Ville du Futur et des services numériques, soutenues par des plateformes de recherche, principalement celle de Rouen dédiée à l’Usine du Futur et celles de Nanterre dédiée à l’Usine et au Bâtiment du Futur.

Positionnement dans les thématiques de recherche du laboratoire

Ce projet de thèse s’inscrit pleinement dans les axes stratégiques du laboratoire CESI Lineact : En développant des robots capables d’apprendre à détecter des situations problématiques et à y réagir par interaction avec les opérateurs humains, cette thèse vise à contribuer à la transformation des environnements de travail dans l’industrie, les bâtiments intelligents ou les services urbains. Elle propose une approche novatrice d’apprentissage embarqué et interactif, qui ouvre des perspectives concrètes pour l’amélioration de la performance, la sécurité et la durabilité des organisations. Par ailleurs, en favorisant une collaboration active entre humains et machines, le projet répond aussi aux enjeux des formations du futur, en plaçant les utilisateurs dans une posture active de transmission des savoirs, tout en renforçant leur propre montée en compétence. Ce positionnement transversal, à la croisée de la robotique, des sciences cognitives et humaines et des usages numériques, en fait un levier pertinent pour accompagner la transition numérique des territoires, en soutenant à la fois l’innovation technologique et l’évolution des pratiques professionnelles.

Le profil souhaité

Votre Recrutement

Ses Modalités : sur dossier et entretien.

Merci d’adresser votre candidature à,, avec pour objet de mail :

« [Candidature] Émergence de vigilances contextuelles en robotique par apprentissage social pour la détection de risques industriels et d’inefficacités énergétiques en milieu professionnel »

Votre candidature devra comporter :

• Un Curriculum-Vitae détaillé du candidat. En cas de rupture dans le cursus universitaire, merci de donner une explication ;

• Une lettre de motivation explicitant ses motivations à poursuivre une thèse de doctorat ;

• Les résultats du Master2 et les bulletins de notes correspondant ;

• Toute autre pièce que vous jugerez utile.

Merci de transmettre l’ensemble des documents au sein d’un fichier zip intitulé NOM_prénom.zip.

Vos compétences :

Compétences scientifiques et techniques :

• Connaissances en apprentissage automatique (une expérience en apprentissage par démonstration serait un plus)

• Bonne compréhension des principes de l’apprentissage supervisé, avec une première expérience en programmation de modèles d’apprentissage (Python, PyTorch ou TensorFlow).

• Notions en vision par ordinateur et perception robotique (Compétences de base en traitement d’image, détection d’objets, ou segmentation)

• Intérêt pour l’interaction homme-robot

• Sensibilité aux enjeux liés à la collaboration humain-machine, et capacité à concevoir ou évaluer des interfaces ou comportements interactifs simples.

• Curiosité pour les sciences cognitives ou comportementales appliquées à la robotique

• Goût pour les projets appliqués impliquant le développement, la mise en oeuvre et l’évaluation de systèmes en interaction avec des utilisateurs, et rigueur dans la collecte et l’analyse de données.

Compétences relationnelles :

• Être autonome, avoir un esprit d’initiative et de curiosité,

• Savoir travailler en équipe et avoir un bon relationnel,

• Être rigoureux

Références :

Arashpour, M., Ngo, T. and Li, H. ‘Scene understanding in construction and buildings using image processing methods: A comprehensive review and a case study’, Journal of Building Engineering, 33, p.. Available at:

Argall, B.D. et al. ‘A survey of robot learning from demonstration’, Robotics and Autonomous Systems, 57, pp. –. Available at:

Balažević, I. et al. ‘Towards In-context Scene Understanding’. arXiv. Available at:

Bem, D.J. ‘Self-Perception Theory1’, in L. Berkowitz (ed.) Advances in Experimental Social Psychology. Academic Press, pp. 1–62. Available at:

Biancardi, B., Dermouche, S. and Pelachaud, C. ‘Adaptation Mechanisms in Human–Agent Interaction: Effects on User’s Impressions and Engagement’, Frontiers in Computer Science, 3. Available at:

Billard, A. et al. ‘Robot Programming by Demonstration’, in B. Siciliano and O. Khatib (eds) Springer Handbook of Robotics. Berlin, Heidelberg: Springer Berlin Heidelberg, pp. –. Available at:

Correia, A. and Alexandre, L.A. ‘A survey of demonstration learning’, Robotics and Autonomous Systems,, p.. Available at:

Dolatyabi, P., Regan, J. and Khodayar, M. ‘Deep Learning for Traffic Scene Understanding: A Review’, IEEE Access, 13, pp. –. Available at:

Engelbracht, T. et al. ‘SpotLight: Robotic Scene Understanding through Interaction and Affordance Detection’. arXiv. Available at:

Festinger, L. A theory of cognitive dissonance. Stanford University Press (A theory of cognitive dissonance), pp. xi, .

Guedjou, H. et al. ‘The Influence of Extraversion on a Robot Developmental Learning in a Human Robot Interaction’, in IEEE International Conference on Development and Learning (ICDL). IEEE International Conference on Development and Learning (ICDL), pp. 1–6. Available at:

Koh, A.W.L., Lee, S.C. and Lim, S.W.H. ‘The learning benefits of teaching: A retrieval practice hypothesis’, Applied Cognitive Psychology, 32, pp. –. Available at:

Laignel, A. et al. ‘Synthetic datasets for 6D Pose Estimation of Industrial Objects: Framework, Benchmark and Guidelines’, in The 11th International Conference on Industrial Engineering and Applications – proceedings of The 5th International Conference on Industrial Engineering and Industrial Management (IEIM ). Nice, France. Available at: (Accessed: 11 March ).

Luo, H. et al. ‘Learning Visual Affordance Grounding From Demonstration Videos’, IEEE Transactions on Neural Networks and Learning Systems, 35, pp. –. Available at:

Ni, J. et al. ‘Deep learning-based scene understanding for autonomous robots: a survey’, Intelligence & Robotics, 3, pp. –. Available at: