Éditeur de retours pédagogiques en réalité augmentée dédié à l’apprentissage de gestes techniques pour le contrôle non destructif

Description

Modalités : Stage gratifié d’une durée de 6 mois basé au CERIUM² (15 Rue des Docteurs Calmette et Guérin, Laval) dont les travaux pourront être poursuivis en thèse de doctorat

Mots-clés : Réalité augmentée, apprentissage de gestes, contrôle non destructif

Résumé :

L’objectif de ce stage est de développer des modèles et outils permettant d’assister un utilisateur dans l’apprentissage de gestes techniques liés au Contrôle Non Destructif (CND) en réalité augmentée. Le CND permettant d’examiner l’intégrité d’une pièce industrielle sans l’altérer (par exemple à l’aide de la radiographie ou de la magnétoscopie). En particulier, il est attendu la création d’un éditeur de retours pédagogiques permettant à l’enseignant de définir

1. quand (i.e. en temps réel ? Avant ou après des étapes clés du geste ? Etc.) le retour pédagogique doit avoir lieu
2. où le retour pédagogique doit être placé dans l’environnement augmenté (attaché au sol ou sur une table, à une partie du corps, sur un outil à un objet réel, etc.)
3. quelle forme le retour pédagogique visuelle doit prendre (i.e. texte 3D affichant la vitesse du mouvement, un avatar 3D montrant le geste, une trajectoire d’un objet à placer, la couleur d’un objet à prendre, etc.)

Missions :

4. Veille technologique sur les différents matériels permettant la réalisation d’applications de réalité augmentée immersive ou spatiale
5. Étude des possibilités fonctionnelles des outils logiciels et SDK dédiés à la réalité augmentée par implémentation de preuves de concept
6. Recherche bibliographique sur les modèles et outils permettant de créer et éditer des environnements de réalité augmentée
7. Développement et test d’une première version fonctionnelle de l’éditeur de retours pédagogiques en réalité augmentée

Laboratoire et équipe d’accueil : Laboratoire d’Informatique de l’Université du Mans (LIUM, équipe Ingénierie des Environnements Informatiques pour l’Apprentissage Humain (IEIAH).

Descriptif:

La réalité augmentée permet de créer des univers crédibles où des images 3D virtuelles se superposent aux images réelles avec de nouvelles possibilités d’interaction en temps réel[1],[2]. Cette technologie est particulièrement utilisée à des fins éducatives pour, par exemple, manipuler des objets tangibles animés pour apprendre les mathématiques [Touel ], observer et interagir avec des molécules de chimie [Cortés et al. ], assister l’apprenant dans un processus d’assemblage industriel [Raj et al., Alkan et al. ].

Le Contrôle Non Destructif (CND) regroupe un ensemble de méthodes pour examiner la structure et l’intégrité d’une pièce, sans la démonter ou l’altérer [Schickert et al. ]. Cette approche est très prisée en industrie afin d’identifier les défauts des pièces, lors de processus de maintenance. La formation aux gestes techniques du CND implique l’apprentissage d’un savoir-faire complexe et varié dans plusieurs domaines tels que la magnétoscopie, la radiographie, l’ultrason/écographie, la thermographique, etc. L’apprentissage de ces gestes techniques représente un défi pédagogique, car cette tâche peut être vue comme l’apprentissage d’une séquence ordonnée d’actions, un ensemble de postures du corps à imiter et/ou des contraintes géométriques, cinématiques ou dynamiques du mouvement à respecter [Djadja et al. ].

Dans ce contexte, les dispositifs matériels d’interaction innovante (casques de réalité mixtes, caméras 3D de profondeurs, combinaisons d’IMUs, etc.), sont actuellement utilisés dans des environnements virtuels immersifs délivrant des aides visuelles en temps réel (e.g. avatar 3D montrant le geste, flèche indiquant la direction, couleur identifiant l’objet à prendre, etc.), lors de l’exécution des mouvements par l’apprenant [Djadja et al., Hefied et al. ]. Cependant, ces environnements virtuels immersifs coupent l’apprenant de la situation réelle ce qui pose des questions de transferts de compétences. En outre, ces environnements numériques sont souvent dédiés à l’apprentissage d’un seul geste technique selon une stratégie pédagogique prédéfinie.

La réalité augmentée a souvent été utilisée en industrie, afin de créer des environnements d’apprentissage efficaces qui sont souvent peu ou pas éditables [Alkan et al. ]. Cependant, les travaux de la littérature nous montrent qu’il existe de nombreux modèles et approches permettant à l’enseignant de définir des Environnements Informatiques pour l’Apprentissage Humain (EIAH) au travers, par exemple d’environnements virtuels dont le scénario pédagogique est définissable [Oubahssi et al. ], ou des environnements auteurs de réalité augmentée [Ez-Zaouia et al. ].Ces outils et modèles sont peu appliqués dans le contexte de l’apprentissage d’un geste technique pour le CND.

Ainsi, un éditeur de retours pédagogiques en réalité augmentée apparait comme une solution prometteuse pour apprendre les gestes techniques liés au CND. L'objectif applicatif est d'améliorer le transfert de compétences, par la conception, l'implémentation et l'usage d'un environnement augmenté, proche du réel et adapté à la stratégie pédagogique de l’enseignant.

Bibliographie :

8. [Alkan et al. ] Alkan, B., Hasan, N., Webb, L., and Chinnathai, M. K. Spatial Augmented Reality in Manual Assembly: An Empirical Investigation of Its Effects on Assembly Performance and Cognitive Ergonomics. Available at SSRN, .
9. [Rodríguez et al. ] Rodríguez, F.C., Frattini, G., Krapp, L.F., Martinez-Hung, H., Moreno, D.M., Roldán, M., Salomón, J., Stemkoski, L., Traeger, S., Dal Peraro, M. and Abriata, L.A. MoleculARweb: A Web Site for Chemistry and Structural Biology Education through Interactive Augmented Reality out of the Box in Commodity Devices. Journal of Chemical Education, 98, -, .
10. [Djadja et al. ] Djadja, D. J. D., Hamon, L., and George, S. Design of a Motion-Based Evaluation Process in any Unity 3D Simulation for Human Learning, GRAPP, .
11. [Ez-Zaouia et al. ] Ez-Zaouia, M., Marfisi-Schottman, I. and Mercier, C. Authoring Tools: The Road To Democratizing Augmented Reality For Education. Proceedings of the 15th International Conference on Computer Supported Education, -, .
12. [Hefied et al. ] Hefied, M. N., Hamon, L., George, S., Loison, V., Pirolli, F., Lopez, S., and Crétin-Pirolli, R. A Pipeline for the Automatic Evaluation of Dental Surgery Gestures in Preclinical Training from Captured Motions. In CSEDU, -, .
13. [Larboulette and Gibet ] Larboulette, C. and Gibet, S. A review of computable expressive descriptors of human motion. In Proceedings of the 2nd International Workshop on Movement and Computing, 21-28, .
14. [Oubahssi et al. ] Oubahssi L., Piau-Toffolon C., Mahdi O. VR-Peas: a Virtual Reality PEdAgogical Scenarisation tool, Interactive Learning Environments, 1–18, .
15. [Raj et al. ] Raj, S., Murthy, L.R.D., Shanmugam, T.A., Kumar, G., Chakrabarti, A. and Pradipta Biswas, P. Augmented reality and deep learning based system for assisting assembly process. Journal of Multimodal User Interfaces, 18, -, .
16. [Schickert et al. ] Schickert, M., Koch, C., and Bonitz, F. Prospects for integrating augmented reality visualization of nondestructive testing results into model-based infrastructure inspection. Proceedings of the NDE/NDT for Highways \& Bridges: SMT, .
17. [Touel et al. ] Touel, S., Marfisi-Schottman, I., George, S., Hattab, L. et Pelay, N. Le Chaudron Magique : un jeu en Réalité Mixte pour l'apprentissage des fractions en autonomie. Environnement Informatique pour l'Apprentissage Humain (EIAH), Jun, Brest, France. pp.-.

[1]

[2]

Profile

Actuellement en master 2 ou en troisième année d’une école d’ingénieur le/la candidat(e) doit :

18. Avoir des compétences en programmation C++, ou à défaut en C#, et si possible en python
19. Connaître l’Unreal Engine ou un moteur équivalent tel que Unity
20. Travailler avec méthode et rigueur.
21. Avoir des qualités d’organisation, qualités relationnelles, écoute et disponibilité.

Starting date

-02-02