(h/f) stage reinforcement learning commande d'un exosquelette

Basée à Paris et New York, Wandercraft se lance un défi de taille : celui de redonner aux personnes à mobilité réduite la capacité de se lever et de marcher sans béquilles. Atalante, premier exosquelette de marche stable au monde, permet cet exploit, en centre de rééducation et en milieu hospitalier. Œuvrant avec passion et convaincue des bienfaits de la robotique sur la santé, l'entreprise développe maintenant un exosquelette personnel visant à restaurer l’autonomie au quotidien de ses usagers.


Descriptif du poste

Au sein d'une jeune start-up dynamique située à Paris, vous participerez au développement de la commande de l’exosquelette en utilisant des méthodes d’Apprentissage par Renforcement (Reinforcement Learning) et d’Apprentissage Profond (Deep Learning).

Ces dernières années, des résultats impressionnants ont été obtenus en utilisant des Réseaux de Neurones comme base d'algorithmes de contrôle. Si ces résultats étaient initialement réduits à des environnements simulés, des résultats plus récemment ont montré que ces méthodes pouvaient s'appliquer à des environnements plus complexes et même aux bipèdes. Pour arriver à ces résultats, un environnement physique en simulation est créé, puis les chercheurs entrainent des contrôleurs à réaliser une tâche au sein de ce simulateur. Certaines techniques "de transfert" sont appliquées pendant l'entrainement pour que le contrôleur entrainé en simulation fonctionne également sur le vrai robot et donne des performances similaires.

Wandercraft a participé activement au développement du simulateur de systèmes poly-articulés open-source Jiminy, qui reproduit largement le comportement de l'exosquelette de façon convaincante et permet d'entrainer des contrôleurs en simulation. Nous avons ainsi pu entrainer un contrôleur permettant de se maintenir debout et de se rattraper en cas de perturbations extérieures, ce qui a fait l’objet d’une publication scientifique.

Vous serez intégré dans l’équipe commande, composée de doctorants et d’ingénieurs, sous l’encadrement d’un des membres de l’équipe. Selon les domaines d’expertise et appétences du candidat retenu, vos principales activités seront :

1. Amélioration des méthodes existantes de simulation du comportement du robot,
2. Développement de techniques de transferts innovantes pour assurer un passage fluide de la simulation à la réalité,
3. Entrainement et optimisation de contrôleurs pour la marche bipède,
4. Evaluation des algorithmes en simulation et estimation des performances (efficacité, robustesse, etc.),
5. Développement ou amélioration d'un setup expérimental,
6. Evaluation des algorithmes sur robot réel et estimation des performances (efficacité, robustesse, etc.),
7. Détermination des besoins matériel / logiciel pour l'intégration à l'exosquelette de manière embarquée,
8. Participation aux tests sur le robot avec ou sans utilisateurs.


Profil recherché

A la fois proactif(ve) et rigoureux(se), vous avez une excellente capacité à travailler au sein d'une équipe et savez être autonome tout en suivant les consignes données. Vous appréciez de travailler sur des tâches diverses et variées et vous avez à cœur le bien-être de votre équipe. Vous aimez travailler dans des structures moyennes et vous savez vous adapter à des changements rapides d’ordre de priorité des tâches. Vous êtes débrouillard(e), curieux(se) et très organisé(e). Enfin, vous avez une excellente communication orale et écrite.

Compétences requises :

1. Développement Python : autonome
2. Apprentissage par Renforcement : connaissances basiques
3. Expérience avec au moins une librairie de Machine Learning (Pytorch, TensorFlow, Flax, …) : connaissances basiques
4. Modélisation mathématique : autonome
5. Cinématique et dynamique du solide : autonome
6. Théorie du contrôle : autonome
7. Commande de système robotique : autonome
8. Git : connaissances basiques

Les + pour vous différencier :

1. Connaissances avancées en Apprentissage par Renforcement,
2. Expérience dans la conception et la mise en œuvre de réseaux de neurones comme les CNN, RNN et Transformers,
3. Autonome avec Git et familier avec les bonnes pratiques de développement logiciel,
4. Expérience avec le calcul distribué et le calcul sur GPU.

Si vous ne cochez pas toutes les cases, ne vous inquiétez pas : votre motivation et vos projets personnels peuvent aussi être des arguments de poids !

#J-18808-Ljbffr