Apprentissage fédéré dans des topologies dynamiques sur application médicale et environnementale

Description

L’apprentissage fédéré (Google, ) est une approche d’apprentissage distribué permettant d’entraîner un modèle global à partir de données réparties chez plusieurs clients, sans centraliser ces données. Cette méthode est particulièrement utilisée dans les domaines sensibles (santé, embarqué, IoT) pour des raisons de confidentialité. Chaque client du système possède un jeu de données local qui lui permet de s’entraîner et partager ensuite sa connaissance. Ce partage permet l’agrégation des modèles, une étape critique qui consiste en la fusion des paramètres obtenus par chaque client pour créer un modèle global plus général et redistribué à tous les participants. Néanmoins, les méthodes d’agrégation issues de l’état de l’art prennent peu en compte le changement de topologie des clients. En effet, dans un système distribué, ceux-ci peuvent rejoindre ou quitter le système à tout moment. Cela se produit par exemple en cas de déconnexion d’une machine au système à cause d’une panne du réseau. Une fois la panne surmontée, la machine pourra se reconnecter au système pour continuer son apprentissage. Ces aléas illustrent des cas d’utilisation réels et augmentent le risque de pénaliser les performances du modèle général.

Nous nous concentrerons notamment sur deux aspects : comprendre les effets de la déconnexion ou reconnexion d’un client au système sur l'optimisation des modèles locaux et du modèle global, la recherche et l'évaluation d’une technique capable de réduire les effets négatifs de ces évènements sur l’apprentissage du système.

Le travail sera réalisé à l’aide d’un framework développé au laboratoire. Les tâches seront les suivantes :

1. Prise en main et enrichissement du framework et des jeux de données.
2. Etat de l’art sur l’apprentissage fédéré, les fonctions d’agrégation, l’apprentissage fédéré décentralisé et l’apprentissage continuel.
3. Proposition d’une solution pour améliorer l’apprentissage des modèles locaux et globaux dans l’apprentissage fédéré dans le cas de connexion et déconnexion de clients au système.
4. Rédaction d’un article de recherche

Ce stage vous permettra d’apprendre à :

5. Maîtriser les principes et défis du deep learning et de l’apprentissage fédéré.
6. Développer des compétences de méthodologie scientifique (lecture critique, évaluation, comparaison).
7. Rédiger une publication scientifique (en tant que co-auteur).
8. Préparer une éventuelle poursuite en doctorat ou en R&D dans l’industrie.

Profile

Nous recherchons un stagiaire de niveau bac, en master ou en école d'ingénieur.

Pour candidater, il est nécessaire d'avoir suivi une formation en informatique. Les connaissances attendues du candidats portent sur le deep learning, Tensorflow et Python.

Starting date

-02-02