Offre de stage m2: approches multimodales pour la gestion des informations manquantes dans l’analyse des états affectifs

Description

Projet de stage

Contexte scientifique

L’analyse des états affectifs joue un rôle crucial dans la compréhension du comportement humain et l’amélioration des interactions entre les humains et les systèmes intelligents [1, 2, 3, 4, 5, 6]. Elle repose sur diverses modalités, telles que la voix, les expressions faciales, les gestes ainsi que les signaux physiologiques [7, 8, 9, 10]. Des recherches antérieures ont exploré chaque modalité séparément et ont montré leur complémentarité, soulignant l’intérêt de combiner les informations issues de chacune [11].

L’étude des états affectifs dans des contextes réels constitue un défi majeur en raison de leur nature complexe et dynamique. Les bases de données multimodales existantes contiennent souvent des états induits dans des environnements contrôlés, ce qui ne reflète pas toujours l’expression naturelle des états affectifs. Cependant, dans des conditions réelles d’interaction, certaines modalités peuvent être manquantes ou dégradées. Par exemple, il peut arriver que le locuteur n’émette pas de parole tout en manifestant des expressions faciales, ou encore qu’il tourne la tête, ce qui entraîne une occultation partielle de son visage et une altération des informations visuelles disponibles. d’où l’intérêt de la multimodalité. Nos recherches précédentes ont confirmé cette complémentarité entre modalités et ont ouvert la voie à de nouvelles pistes pour une intégration plus robuste des différentes sources d’information. Ce projet de stage s’inscrit dans la continuité de ces travaux et vise à les faire évoluer. L’objectif de ce stage est de travailler sur des données multimodales variées et de développer des approches permettant de combiner efficacement plusieurs sources d’information, même lorsque certaines modalités sont manquantes.

Objectifs du stage

Avec l’essor des techniques d’apprentissage profond, il devient possible de concevoir des archi- tectures adaptées pour l’analyse multimodale des états affectifs. Le stage consistera à :

explorer et prétraiter des datasets multimodaux existants ;

concevoir et entraîner des modèles d’apprentissage profond pour la détection des états affectifs, en modalité unique ou multimodale ;

expérimenter différentes stratégies de fusion multimodale et de gestion des modalités man- quantes ;

évaluer les performances des modèles et analyser l’impact de la présence ou de l’absence de certaines modalités.

Les travaux menés dans ce stage contribueront à l’avancement des méthodes robustes pour la reconnaissance des états affectifs à partir de données réelles et variées, avec des applications potentielles dans la santé, le bien-être et les interactions homme-machine.

Références

[1] Amine Bohi, Yassine El Boudouri et Imad Sfeir. « A novel deep learning approach for facial emotion recognition : application to detecting emotional responses in elderly individuals with Alzheimer’s disease ». In : Neural Computing and Applications, p. 1-19.

[2] Yassine El Boudouri et Amine Bohi. « EmoNeXt : an Adapted ConvNeXt for Facial Emo- tion Recognition ». In : 25th IEEE International Workshop on Multimedia Signal Processing..

[3] Varsha Devi, Amine Bohi et Pardeep Kumar. « AGCD-Net : Attention Guided Context Debiasing Network for Emotion Recognition ». In : arXiv preprint arXiv :..

[4] Aafaf Ridouan, Amine Bohi et Youssef Mourchid. « Improving pain classification using spatio-temporal deep learning approaches with facial expressions ». In : Seventeenth Interna- tional Conference on Machine Vision (ICMV ). T.. SPIE., p. 82-89.

[5] Ruhul Amin Khalil et al. « Speech emotion recognition using deep learning techniques : A review ». In : IEEE Access 7, p. -.

[6] Mohamed Ala Yahyaoui et al. « Multi-Face Emotion Detection for Effective Human-Robot Interaction ». In : Proceedings of the ICAART conférence..

[7] Leila Ben Letaifa, Amine Bohi et Rim Slama. « The CG-MER Dyadic Multimodal Da- taset for Spontaneous French Conversations : Annotation, Analysis and Assessment Bench- mark ». In : Journal on Multimodal User Interfaces.

Profile

Pré-requis du poste

Compétences scientifiques et techniques :

1. Bonne connaissance des méthodes d’apprentissage automatique et deep learning
2. Très bon niveau en programmation Python
3. Maîtrise des librairies PyTorch ou TensorFlow indispensable
4. Intérêt pour le traitement multimodal et la gestion de données manquantes

Compétences relationnelles :

5. Etre autonome, avoir un esprit d’initiative et de curiosité,
6. Savoir travailler en équipe et avoir un bon relationnel,
7. Etre rigoureux
8. Communiquer efficacement avec son encadrant

Gratification à 15% du plafond horaire de la Sécurité Sociale

Date de début : Février

Starting date

-02-02