Séparation de sources audio et deep learning h/f

Le département Audio et Telco Services a pour ambition d'offrir à nos clients la
meilleure expérience digitale, en anticipant, développant et intégrant de bout en bout les services de communication temps réel multicanaux.
Le département porte également une expertise sur les devices mobiles et une expertise audio/voix, de la recherche au delivery.

3 équipes constituent le département :
-Equipe Rich Instant Messaging (RIM) qui porte le Skill center Google RCS et les activités de messaging
-Equipe Mobile Service and Sollicitation (MSS) qui assure le développement des services mobiles et des plateformes associées
-Equipe Immersive Communications and Audio Expertise (ICAE) qui travaille sur les activités de recherche et de standardisation dans le domaine de l'audio Les communications mains-libres, si elles offrent l'avantage de l'ergonomie en libérant les mains de l'utilisateur, souffrent d'artefacts liés à l'éloignement du locuteur du système de prise de son : bruit ambiant, réverbération, écho, interférences sonores. Aussi, tout système de communication se doit d'instancier des modules qui visent à supprimer, tout au moins fortement atténuer, ces artefacts : annulation d'écho, réduction de bruit, Parmi ces modules, la séparation de sources s'intéresse à supprimer les interférences, généralement la voix d'autres interlocuteurs, en isolant chacune des sources présentes dans la scène sonore.
Depuis une 10aine d'années, l'IA avec les réseaux de neurones profonds ou DNN a bousculé le paysage des technologies à même de traiter ces perturbations, en repoussant les limites en termes de performances. Et tout dernièrement, les approches génératives, historiquement associées aux modèles de langage naturel, ont fait irruption dans ce paysage. Ce type de réseau, comme les GANs (Generative Adversorial Networks) ou les modèles de diffusion, montrent des performances encore accrues par rapport à leurs homologues entraînés de manière discriminative : suppression totale des artefacts, tout en garantissant une moindre distorsion.
L'objectif du stage est d'adapter ces approches génératives à la séparation de sources multicanale. Plus précisément, on s'intéressera à l'application d'approches de type GAN pour extraire une source d'intérêt identifiée par sa position, position que l'on supposera connue. On pourra notamment s'inspirer d'architecture de type auto-encodeur utilisées en codage neuronal comme les U-net par exemple, en intégrant des couches de séparation de sources sous la forme de filtrage spatial neuronal, comme dans.
Au cours du stage, l'accent sera mis sur la recherche de métriques pertinentes pour entraîner un réseau génératif de séparation. La question des métriques est primordiale car les modèles génératifs peuvent synthétiser deux signaux proches d'un point de vue perceptif mais dont les formes d'onde peuvent di?érer significativement, ce qui rend problématique la comparaison des signaux prédits avec la vérité terrain.