Doctorant f/h collecte et étiquetage de données en robotique par apprentissage par renforcement

Contexte et atouts du poste

Dans le cadre d’une action exploratoire Inria et en collaboration avec l'université Aalto en Finalnde, l'équipe Scool recherche un·e doctorant·e pour mener une thèse à l'intersection de l'apprentissage par renforcement et de la robotique. L'équipe Scool y apportera sa compétence en apprentissage par renforcement, et l'équipe Robot Learning à Aalto sa compétence en robotique. Le·la doctorant·e sera acceuilli·e par l'équipe Scool, mais une visite de 6 mois est prévue à Aalto en fin de thèse, ainsi qu'un co-encadrement par Joni Pajarinen de l'équipe Robot Learning tout au long de la thèse.

Les récentes avancées de l'intelligence artificielle ont été portées par de larges modèles neuronaux et des ensembles de données tout aussi grands, nécessitant souvent un travail humain intensif pour l'annotation. Dans certains cas cependant, une IA peut interagir avec son environnement et collecter des données de manière autonome. L’objectif de la thèse est d'étudier l'utilisation de l'apprentissage par renforcement pour permettre à un robot autonome de collecter et d'étiqueter ses propres données afin de résoudre une tâche de recherche d'objets. Partant d'un modèle de détection d'objets pré-entraîné, le doctorant aura pour but de développer des algorithmes d'apprentissage par renforcement à même de guider le robot vers les zones de l'environnement ou le modèle fait le plus d'erreurs de prédiction et de collecter de nouveaux exemples d'apprentissage pour parfaire ses modèles internes.

Mission confiée

Les trois principaux objectifs de recherche de ce doctorat sont :

1. Étudier les travaux existants en robotique pour la recherche d'objets afin d’identifier la base expérimentale qui servira à l'évaluation des avancées de la thèse. Cela comprend la plateforme robotique de simulation, le modèle de vision pré-entraîné ainsi qu'un algorithme de planification pour la recherche d'objets.

2. Modéliser la collecte de données comme un problème de prise de décision séquentielle, en se basant notamment sur les travaux en curiosité artificielle, récompensant les données qui font progresser le plus l'apprentissage du modèle de vision.

3. Développer des algorithmes de planification et/ou de deep RL pour apprendre sur ces problèmes de prise de décision. Évaluer, en simulation et sur la plateforme robotique d'Aalto, la capacité de l'IA à réduire le nombre de données manuellement collectées et annotées, sans nuire à la performance de la recherche d'objets.

Pour une description détaillée de ces objectifs et leur mise en contexte dans la littérature scientifique, nous encourageons le candidat à lire la description complète du sujet disponible ici.

Principales activités

4. Passer en revue l’état de l’art, mettre en évidence les limites actuelles et définir des orientations de recherche détaillées.

5. Mener des recherches sur les modèles computationnels et leurs algorithmes d’optimisation associés afin d’atteindre les objectifs de recherche.

6. Communiquer les résultats par des écrits et des participations à des événements internationaux.

7. Participer à la vie scientifique de l’équipe : présenter lors de séminaires, co-encadrer des étudiants, etc.

Activités supplémentaires :

8. Assurer des missions d’enseignement, si souhaité.

Compétences

Compétences requises
9. Connaissance en apprentissage par renforcement (RL), démontrée par exemple par des projets antérieurs.
10. Volonté d’implémenter et de déboguer de grands modèles d’apprentissage automatique ainsi que des procédures d’entraînement complexes.
11. Curiosité pour explorer des sujets de recherche complémentaires au-delà du RL.

Compétences souhaitées
12. Expérience préalable dans certains des domaines suivants : robotique, vision par ordinateur, deep RL.
13. Expérience avec PyTorch et/ou Jax.

Avantages

14. Restauration subventionnée
15. Transports publics remboursés partiellement
16. Congés: 7 semaines de congés annuels + 10 jours de RTT (base temps plein) + possibilité d'autorisations d'absence exceptionnelle (ex : enfants malades, déménagement)
17. Possibilité de télétravail et aménagement du temps de travail
18. Équipements professionnels à disposition (visioconférence, prêts de matériels informatiques, etc.)
19. Prestations sociales, culturelles et sportives (Association de gestion des œuvres sociales d'Inria)
20. Accès à la formation professionnelle
21. Sécurité sociale

Rémunération

2200 € mensuel brut par mois