Séparation de sources audio et deep learning f/h

Votre rôle

Les communications mains-libres, si elles offrent l’avantage de l’ergonomie en libérant les mains de l’utilisateur, souffrent d’artefacts liés à l’éloignement du locuteur du système de prise de son: bruit ambiant, réverbération, écho, interférences sonores. Aussi, tout système de communication se doit d’instancier des modules qui visent à supprimer, tout au moins fortement atténuer, ces artefacts: annulation d’écho, réduction de bruit, ... Parmi ces modules, la séparation de sources s’intéresse à supprimer les interférences, généralement la voix d’autres interlocuteurs, en isolant chacune des sources présentes dans la scène sonore.

Depuis une 10aine d’années, l’IA avec les réseaux de neurones profonds ou DNN a bousculé le paysage des technologies à même de traiter ces perturbations, en repoussant les limites en termes de performances. Et tout dernièrement, les approches génératives, historiquement associées aux modèles de langage naturel, ont fait irruption dans ce paysage. Ce type de réseau, comme les GANs (Generative Adversorial Networks) ou les modèles de diffusion, montrent des performances encore accrues par rapport à leurs homologues entraînés de manière discriminative: suppression totale des artefacts, tout en garantissant une moindre distorsion.

L’objectif du stage est d’adapter ces approches génératives à la séparation de sources multicanale. Plus précisément, on s’intéressera à l’application d’approches de type GAN pour extraire une source d’intérêt identifiée par sa position, position que l’on supposera connue. On pourra notamment s’inspirer d’architecture de type auto-encodeur utilisées en codage neuronal comme les U-net par exemple, en intégrant des couches de séparation de sources sous la forme de filtrage spatial neuronal, comme dans.

Au cours du stage, l’accent sera mis sur la recherche de métriques pertinentes pour entraîner un réseau génératif de séparation. La question des métriques est primordiale car les modèles génératifs peuvent synthétiser deux signaux proches d’un point de vue perceptif mais dont les formes d’onde peuvent différer significativement, ce qui rend problématique la comparaison des signaux prédits avec la vérité terrain.