Post-doctorant f/h reinforcement learning for application-aware self-adaptive communication protocols

Contexte et atouts du poste

Cette mission de post-doctorat s’inscrit dans le cadre du PEPR Réseaux du Futur, axe PC6 (From IoT Breakthroughs to Network Enhanced Services). Plus précisément, elle relève de la tâche « Solutions d’accès adaptatif pilotées par les données pour les réseaux denses », pilotée par l’équipe Inria Agora.

Mission confiée

Les réseaux de capteurs sont une solution clé pour suivre différents phénomènes physiques (pollution de l’air, îlots de chaleur urbains, etc.). Ils se distinguent par leur flexibilité, leur précision dans le temps et l’espace, et leur capacité à s’auto-organiser [1].
Dans ce cadre, un enjeu scientifique majeur concerne la mise au point de protocoles de communication pilotés par les données applicatives. L’objectif est double : améliorer la couverture des phénomènes observés et optimiser le fonctionnement global du réseau.

Deux dimensions doivent être articulées:

- l’informativité des données, c’est-à-dire leur utilité réelle pour la tâche de suivi [2,3] ;

- les performances réseaux, notamment le taux de livraison des paquets.

L’apprentissage par renforcement [4] ouvre de nouvelles perspectives pour ce type de problématique. Il permet d’apprendre automatiquement les meilleures stratégies afin de maximiser une récompense cumulée. Déjà appliqué avec succès dans de nombreux domaines [5], il constitue une base prometteuse pour concevoir des modèles de communication intelligents.

L’objectif du post-doc est donc de développer et valider de nouveaux modèles de communication, orientés par les données applicatives et fondés sur l’apprentissage par renforcement. Ces modèles viseront à garantir à la fois : une transmission fiable des données, une forte informativité, une bonne couverture du phénomène à surveiller, une connectivité solide entre les nœuds capteurs et une consommation énergétique minimale du réseau.

Principales activités

Le travail commencera par la modélisation du problème sous l’angle de l’apprentissage par renforcement avec contraintes. Une version déterministe sera d’abord développée afin d’appliquer des méthodes exactes sur de petites instances. Cette étape permettra d’analyser en profondeur le comportement du système, de mieux comprendre les compromis entre informativité et performance réseau, et de disposer de solutions de référence solides pour les évaluations ultérieures.

Dans un second temps, l’objectif sera de concevoir et développer de nouvelles solutions d’apprentissage par renforcement capables de gérer des situations à grande échelle. Ces approches devront prendre en compte simultanément plusieurs objectifs, comme la couverture du phénomène, la connectivité entre capteurs ou encore la réduction de la consommation énergétique. Les performances de ces solutions seront comparées à celles des méthodes classiques, qu’elles soient exactes ou heuristiques, afin de bien mesurer leur valeur ajoutée.

Enfin, une part importante du travail concernera l’implémentation et l’évaluation des modèles proposés. Il s’agira de tester ces solutions à l’aide de métriques adaptées et de confronter leurs résultats aux approches de l’état de l’art. Cette phase expérimentale permettra d’identifier les atouts et limites de chaque méthode et de dégager des pistes claires pour améliorer la gestion et l’efficacité des réseaux de capteurs.

Bibliographie

[1] Ahmed Boubrima, Walid Bechkit, Hervé Rivano: Optimal WSN Deployment Models for Air Pollution Monitoring. IEEE Trans. Wirel. Commun. 16: 2723-2735

[2] Y. Wei, X. Zhao, Z. Zhang, J. Xu, S. Cheng, Z. Liu, W. Sun, X. Chen, Z. Wang, X. Hao, J. Li, D. Chen. Impact of model resolution and its representativeness consistency with observations on operational prediction of PM2.5 with 3D-VAR data assimilation. Atmos. Pollut. Res., 2024.

[3] A. Krause, C. Guestrin, A. Gupta, J. Kleinberg. Robust sensor placements at informative and communication-efficient locations. ACM Transactions on Sensor Networks (TOSN), 7 :31, 2011.

[4] Richard S. Sutton and Andrew G. Barto. Reinforcement Learning: An Introduction. A Bradford Book, Cambridge, MA, USA, 2018.

[5] Mohamed Sami Assenine, Walid Bechkit, Ichrak Mokhtari, Hervé Rivano, Karima Benatchba: Cooperative Deep Reinforcement Learning for Dynamic Pollution Plume Monitoring Using a Drone Fleet. IEEE Internet Things J. 11: 7325-7338

Compétences

Connaissances approfondies en apprentissage automatique, en particulier en apprentissage par renforcement

Connaissances de base en réseaux informatiques et en protocoles de communication

Modélisation mathématique et optimisation

Capacité d’analyse et de synthèse

Avantages

1. Restauration subventionnée
2. Transports publics remboursés partiellement
3. Congés: 7 semaines de congés annuels + 10 jours de RTT (base temps plein) + possibilité d'autorisations d'absence exceptionnelle (ex : enfants malades, déménagement)
4. Possibilité de télétravail (après 6 mois d'ancienneté) et aménagement du temps de travail
5. Équipements professionnels à disposition (visioconférence, prêts de matériels informatiques, etc.)
6. Prestations sociales, culturelles et sportives (Association de gestion des œuvres sociales d'Inria)
7. Accès à la formation professionnelle
8. Sécurité sociale

Rémunération

2788€ bruts mensuels