Vers un apprentissage fédéré et un affinement distribué efficace sur des dispositifs hétérogènes et à ressources restreintes // enabling efficient federated learning and fine-tuning for heterogeneous and resource-constrained devices

Topic description

L’objectif de cette thèse est de développer des méthodes visant à améliorer l’efficacité des ressources dans le cadre de l’apprentissage fédéré (FL), en tenant compte des contraintes et de l’hétérogénéité des ressources des clients. Le travail portera dans un premier temps sur l’architecture classique client-serveur de l’apprentissage fédéré, avant d’étendre l’étude aux environnements fédérés décentralisés. Les méthodes proposées seront étudiées à la fois dans le contexte de l’entraînement fédéré de modèles et dans celui de l’affinement distribué de modèles de grande taille, tels que les grands modèles de langage (LLMs).
------------------------------------------------------------------------------------------------------------------------------------------------------------------------
------------------------------------------------------------------------------------------------------------------------------------------------------------------------

The goal of this PhD thesis is to develop methods that enhance resource efficiency in federated learning (FL), with particular attention to the constraints and heterogeneity of client resources. The work will first focus on the classical client-server FL architecture, before extending the investigation to decentralised FL settings. The proposed methods will be studied in the context of both federated model training and distributed fine-tuning of large models, such as large language models (LLMs).
------------------------------------------------------------------------------------------------------------------------------------------------------------------------
------------------------------------------------------------------------------------------------------------------------------------------------------------------------

Pôle fr : Direction de la Recherche Technologique
Pôle en : Technological Research
Département : Département d’Instrumentation Numérique
Service : Service Monitoring, Contrôle et Diagnostic
Laboratoire : Laboratoire Instrumentation Intelligente, Distribuée et Embarquée
Ecole doctorale : Sciences et Technologies de l’Information et de la Communication (STIC)
Directeur de thèse : SOULOUMIAC Antoine
Organisme : CEA
Laboratoire : DRT/DIN//LIIDE

Funding category

Public/private mixed funding

Funding further details