Apprentissage multimodal distribué pour la localisation et la classification coopératives de sources acoustiques // distributed multimodal learning for cooperative acoustic source localization and classification

Topic description

Dans de nombreux environnements complexes, tels que les sites industriels, bâtiments sinistrés, espaces publics, il est nécessaire de détecter et localiser automatiquement des événements sonores (chutes, alarmes, voix, pannes mécaniques). Les plateformes mobiles équipés de caméras et de microphones constituent une solution prometteuse, mais une seule plateforme reste limité : son réseau de microphone donne une direction approximative vers la source, mais pas une position précise dans l'espace, et sa caméra peut être obstruée. Ce sujet propose d'étudier comment des multi-plateformes, chacune portant une unité audio-visuelle calibrée, peuvent collaborer pour localiser et classifier ces événements en 3D. Chaque plateforme analyse ses propres observations audio-visuelles et partage une estimation de la direction de la source avec ses voisines ; le réseau combine ensuite ces estimations pour reconstruire la position de l'événement et l'identifier. Les résultats attendus sont un système de localisation coopérative robuste aux occultations et aux défaillances partielles.
------------------------------------------------------------------------------------------------------------------------------------------------------------------------
------------------------------------------------------------------------------------------------------------------------------------------------------------------------

In many complex environments, such as industrial sites, disaster-stricken buildings, or public spaces, it is necessary to automatically detect and localize sound events (falls, alarms, voices, mechanical failures). Mobile platforms equipped with cameras and microphones represent a promising solution, but a single platform remains limited: its microphone array provides an approximate direction towards the source but not a precise position in space, and its camera may be obstructed. This thesis proposes to study how a network of mobile platform, each carrying a calibrated audio-visual unit, can collaborate to localize and classify such events in 3D. Each platform analyses its own audio-visual observations and shares an estimate of the source direction with its neighbours; the network then combines these estimates to reconstruct the position of the event and identify it. The expected outcomes are a cooperative localization system that is robust to occlusions and partial platform failures.
------------------------------------------------------------------------------------------------------------------------------------------------------------------------
------------------------------------------------------------------------------------------------------------------------------------------------------------------------

Pôle fr : Direction de la Recherche Technologique
Pôle en : Technological Research
Département : Département d’Instrumentation Numérique
Service : Service Monitoring, Contrôle et Diagnostic
Laboratoire : Laboratoire Instrumentation Intelligente, Distribuée et Embarquée
Date de début souhaitée : 01-10-
Ecole doctorale : Sciences et Technologies de l’Information et de la Communication (STIC)
Directeur de thèse : NGOLE MBOULA Fred Maurice
Organisme : CEA
Laboratoire : DRT/LIST/DIN/SMCD/LIIDE

Funding category

Public/private mixed funding

Funding further details