Contrôle vocal d'un robot volant: exploration de composantes vocales de guidage pour améliorer [...]

Contrôle vocal d'un robot volant: exploration de composantes vocales de guidage pour améliorer des métaphores conviviales // Voice control of a flying robot: exploring the vocal components of guidance to improve user-friendly metaphors, Grenoble

Université Grenoble Alpes

Topic description

Nous partons de l'hypothèse que des principes fondamentaux de guidage par la voix présentent des aspects universels que nous tenterons de découvrir et d'exploiter, pour concevoir des dispositifs de contrôle d'un robot par la voix. Nous explorerons d'abord comment les gens interagissent spontanément pour guider vers un objet 3-D invisible a) une personne directement, b) un pilote de robot volant. Nous attacherons un intérêt particulier aux composantes non verbales de la parole qui contribuent aux instructions les plus efficaces (intuitives et rapides).

Topic description

Nous partons de l'hypothèse que des principes fondamentaux de guidage par la voix présentent des aspects universels que nous tenterons de découvrir et d'exploiter, pour concevoir des dispositifs de contrôle d'un robot par la voix. Nous explorerons d'abord comment les gens interagissent spontanément pour guider vers un objet 3-D invisible a) une personne directement, b) un pilote de robot volant. Nous attacherons un intérêt particulier aux composantes non verbales de la parole qui contribuent aux instructions les plus efficaces (intuitives et rapides).
Les séquences phoniques employées par les guides et les séquences de manipulation de joystick employées par les pilotes dans cette première phase devront être mises en correspondance par apprentissage en réseau end-to-end. L'intelligence émergente sera ensuite embarquée dans le système de téléopération.
Notre objectif primaire est d'utiliser les caractéristiques vocales les plus pertinentes pour faciliter la commande d'un drone par la voix de l'opérateur, et éventuellement pour faciliter le guidage sonore d'une personne non voyante.
Le projet conjugue les expertises respectives de trois encadrants, en traitement de la parole, en neurosciences cognitives et en robotique appartenant à trois laboratoires grenoblois. Le/la doctorant/e profitera d'une synergie avec une thèse en cours sur la substitution visuo-auditive (projet SamGuide).
------------------------------------------------------------------------------------------------------------------------------------------------------------------------
------------------------------------------------------------------------------------------------------------------------------------------------------------------------

We assume that fundamental principles of voice guidance have universal aspects that we will try to discover and exploit, in order to design devices for controlling a robot by voice. We will first explore how people spontaneously interact to guide to an invisible 3-D object a) a person directly, b) a flying robot pilot. Of particular interest are the non-verbal components of speech that contribute to the most effective (intuitive and rapid) instructions.
The phonic sequences used by the guides and the joystick manipulation sequences used by the pilots in this first phase will have to be matched by end-to-end network learning. The emerging intelligence will then be embedded in the teleoperation system.
Our primary objective is to use the most relevant voice features to facilitate drone control by the operator's voice, and possibly to facilitate sound guidance for a blind person.
The project combines the respective expertise of three supervisors, in speech processing, cognitive neuroscience and robotics, from three Grenoble laboratories. The PhD student will benefit from synergies with an ongoing thesis on visual-auditory substitution (SamGuide project).
------------------------------------------------------------------------------------------------------------------------------------------------------------------------
------------------------------------------------------------------------------------------------------------------------------------------------------------------------

Début de la thèse : 01/10/

Funding category

Funding further details

Plan Investissement d'Avenir (Idex, Labex) #J-18808-Ljbffr