Chercheur doctorant h/f

Sujet de thèse : Interactions vocales homme-robot efficaces Travaux de recherche Contexte scientifique Avec le vieillissement de la population, la robotique d'assistance est en plein essor. Les robots ont un rôle à jouer, mais doivent pour cela disposer de fonctionnalités robustes et transparentes pour être largement adoptés. Dans ces conditions, le moyen d'interaction naturel est la voix. La reconnaissance vocale en particulier permet de transcrire les requêtes utilisateurs en langage naturel, puis de les convertir en actions pour répondre aux sollicitations. Cette composante vocale renferme d'autres informations à exploiter en vue d'enrichir les services d'un tel système robotique. En particulier, la voix permet d'identifier l'émetteur d'une requête énoncée à l'oral afin d'en personnaliser la réponse. L'onde sonore donne également au robot la possibilité de localiser la source d'émission et de se diriger vers l'interlocuteur afin d'engager l'interaction. Tous ces traitements requièrent une plateforme de calculs robuste et son exploitation adaptative selon la localisation du robot, les conditions réseau et l'occupation des ressources. De plus, les opérations d'inférence sont gourmandes en ressources et réduisent d'autant l'exécution de fonctionnalités annexes, ou peuvent être perturbés par des opérations critiques. Notre plateforme de services autour de la voix, dénommée Vo-CAIRbot (Voice Control And Interaction for assistive RoBotics Operations in multi-user environments) devra alors combiner robustesse et performance pour être viable et assurer un haut niveau de qualité d'expérience (QoE) auprès d'un public en perte d'autonomie. Sujet de thèse L'intégration réussie de solutions de robotique d'assistance repose pour partie sur la capacité et fluidité d'interaction avec les acteurs humains. Y aboutir se traduit par des flottes de robots en mesure de réagir avec transparence et robustesse aux sollicitations utilisateur. Cela n'est pas anodin car lié à la puissance de calcul embarquée pour atteindre des temps de réponse satisfaisants. Aussi, concevoir un robot capable de s'intégrer dans un environnement humain et de répondre efficacement aux sollicitations requiert des briques de base solides et optimisées. Pour un public en perte d'autonomie la voix constitue un relais de communication important avec des systèmes robotisés. Au delà du langage naturel, l'information vocale embarque des caractéristiques supplémentaires exploitables pour fournir une offre de services enrichie. Nous explorons trois pans essentiels d'interactions à la voix pour faciliter l'acceptation des robots d'assistance et simplifier leur utilisation : - L'onde sonore peut alors être exploitée pour fournir une information de localisation [8, 7, 3], utile aux besoins de communication visuelle avec les personnes. Cette information est combinée avec une technique de localisation indoor pré-existante pour calculer un emplacement dans la zone d'intérêt considérée. En effet, un réseau de microphone embarqué permet d'identifier la source d'émanation d'une commande vocale et de s'y rendre de manière itérative. - L'interaction vocale avec un robot repose sur la transcription et l'interprétation de la parole du locuteur [6]. Ces opérations mobilisent des modèles d'apprentissage profond de grande complexité, conçus pour prendre en compte les variabilités acoustiques, prosodiques et linguistiques inhérentes à la parole humaine. Toutefois, leur intégration sur des plateformes robotiques aux ressources limitées impose des contraintes strictes en termes de calcul et de mémoire, nécessitant l'adoption de techniques d'optimisation avancées visant à réduire leur taille et leur charge computationnelle sans compromettre les performances [4]. - L'empreinte vocale propre aux individus est alors également exploitable pour simplifier et personnaliser les interactions. En effet, dans un contexte multi-utilisateurs, cette information permet au robot de localiser la personne qui parle et d'interagir avec elle. Nous nous proposons d'investiguer les techniques d'IA temps-réel capables de répondre à nos problèmes. La complexité des calculs combinée aux contraintes de l'environnement d'exécution, l'exigence de réactivité et la confidentialité des échanges nécessitent des approches originales pour accélérer les traitements de machine learning. En effet, les robots embarquent une puissance de calcul limitée, soumise à un taux d'occupation variable et à une enveloppe énergétique contrainte. En réponse, nous mobiliserons des infrastructures d'edge computing pour atteindre un haut niveau de qualité d'expérience (QoE). Plusieurs approches, basées sur une répartition optimale des calculs, seront alors à investiguer en plus des traditionnelles techniques d'élagage, de quantification [5] et de distillation de connaissances. On s'intéressera notamment aux techniques de partitionnement pour répartir efficacement les opérations d'inférence sur les périphériques edge [2]. Tenir compte de l'état de l'infrastructure est alors essentiel pour arriver à maintenir un haut niveau de performances et affecter une charge de travail adéquate aux nœuds de calcul. Pour maximiser les performances, il est alors crucial d'exploiter au mieux la localité des données et d'éviter des transmissions coûteuses. De plus, l'exécution concurrente de certaines opérations sur des périphériques hétérogènes par nature, via, par exemple, du parallélisme de tenseur ou du parallélisme en pipeline, en contextes multi-utilisateurs, sera également investigué. Finalement, les phases d'entraînement pourront s'appuyer sur des techniques d'apprentissage fédérées, déjà largement investiguées dans nos travaux [1]. Pour résumer, l'objectif de la thèse est alors de répondre aux cas d'usage énoncés, pour implémenter une plateforme d'interaction vocale, dotée des services suivants : 1. Localisation de l'émetteur d'un signal vocal. 2. Reconnaissance vocale et transcription en langage naturel. 3. Identification de l'interlocuteur. Ces services devront concilier un haut niveau de performances afin de fournir la meilleure expérience utilisateur. Programme de travail Le programme de travail prévisionnel est énuméré ci-dessous : - Inscription ED 432, état de l'art, définition d'une méthodologie de recherche. - Conception de modèles d'IA performants pour la localisation et la séparation des voix puis soumission de papier. - Développement de modèles d'IA performants pour la reconnaissance vocale et soumission de papier. - Proposition de méthodes innovantes d'optimisation des modèles d'IA et d'optimisation des calculs et soumission de papier. - Intégration des modèles IA dans le robot TIAGO, soumission d'article. Rédaction du manuscrit de thèse, présentation des résultats, soutenance. Production scientifique/technique attendue Les travaux donneront lieu à des publications dans des conférences et journaux internationaux de premier rang. La thèse aboutira sur le développement de nouveaux services d'assistance robotique basés sur la voix. Présentation du Laboratoire CESI LINEACT (UR 7527), Laboratoire d'Innovation Numérique pour les Entreprises et les Apprentissages au service de la Compétitivité des Territoires, anticipe et accompagne les mutations technologiques des secteurs et des services liés à l'industrie et au BTP. La proximité historique de CESI avec les entreprises est un élément déterminant pour nos activités de recherche, et a conduit à concentrer les efforts sur une recherche appliquée proche de l'entreprise et en partenariat avec elles. Une approche centrée sur l'humain et couplée à l'utilisation des technologies, ainsi que le maillage territorial et les liens avec la formation, ont…