Intégration de connaissances et contraintes métiers dans des réseaux de neuronnes profonds pour[...]

Intégration de connaissances et contraintes métiers dans des réseaux de neuronnes profonds pour la vision multi-capteurs en contexte industriel,, normandie, fr

Topic description

Le contexte de cette thèse est le Projet MICADO dont l’objectif est de concevoir et fabriquer un système d’auscultation précis de la caténaire et un modèle prédictif pour optimiser les opérations de maintenance des réseaux ferroviaires. Ce projet collaboratif (R&D Vision, Eurotunnel, RATP et Oc’Via) de plusieurs années repose sur la l’exploitation de données issues de multiples capteurs dont principalement des capteurs d’imagerie: images 3D, couleur et multispectrale. L’objectif de cette thèse est d’étudier et de développer des réseaux profonds permettant l’intégration de contraintes (cinématique du pantographe, gabarit virtuel 3D) et connaissances physiques (émissivité des matériaux…) avec un objectif prédictif dans un contexte multi-capteur industriel. Cette thèse est financée par la société R&D Vision, en collaboration avec le laboratoire LITIS de L’INSA Rouen.

Le contexte présenté ci-dessus pose deux problèmes scientifiques majeurs : d’une part, il s’agit de développer des systèmes de détection avec peu de défauts annotés ; d’autre part, la détection de ces défauts dans un cadre prédictif nécessite le recours à la multimodalité, et à la fusion multimodale de ces informations pour la prise de décision.

Premier axe de recherche : Intégration de connaissances dans les réseaux profonds

Les méthodes d'apprentissage sont extrêmement consommatrices de données et nécessitent une annotation qualifiée qui n’est pas toujours facile d’obtenir lorsqu’elle fait appel à des experts ou que les données sont en nombre réduit. Dans le ferroviaire, les données sont extraites de réseaux opérationnels contenant peu de défauts (souvent critiques) et il n’est pas toujours possible d’obtenir une base de données suffisante pour modéliser ces défauts. De plus, certaines parties du réseau ferroviaire ne sont inspectées qu’occasionnellement, un seul passage doit permettre la détection des défauts, qui ont des degrés de dégradation variés. Pour pallier ces difficultés, nous proposons d'utiliser des connaissances ou contraintes métier, physiques ou sensorielles sur les objets analysés.

Deuxième axe de recherche : fusion de données multimodales

La présence de données hétérogènes dans le cadre de l’inspection des caténaires est indispensable. Bien que la modalité thermique assure une détection des points chauds, elle demeure insuffisante pour prendre une décision concernant l’état de la caténaire et des équipements associés. C’est pourquoi l’usage d’autres modalités est nécessaire. La modalité RGB classique assure une vision complémentaire permettant la détection d’éventuels défauts, du type de matériaux présent, mais également de la présence de salissures ainsi que des conditions d’acquisitions (jour, nuit, pluie…). De même, bien que l’imagerie 2D permette de détecter certains défauts, il est aussi nécessaire d’évaluer le relief de la caténaire. Une caméra stéréo type Z permet d’avoir aussi une capture 3D des objets que l’on veut vérifier. Pour pouvoir analyser et interpréter correctement toutes ces informations hétérogènes provenant des différents capteurs, un modèle de fusion des trois modalités doit être mis en place afin de tirer profit des avantages de chaque modalité. D’autres informations et capteurs pourront aussi être exploité (vitesse, vibration…).

Ces travaux permettront de développer des méthodes et des outils pour appliquer des modèles 2D, 3D et physique (émissivité) dans un contexte multimodal. Le doctorant s’intéressera aussi à l’analyse des performances des réseaux développés (avec et sans contraintes), leur optimisation (taille du jeu de donnée, augmentation, embarquabilité), ainsi qu’à leurs limites de fonctionnement pour obtenir un guide des bonnes pratiques. Le contexte de la thèse est le projet ferroviaire MICADO, mais le doctorant aura aussi la possibilité d’utiliser des données issues d’autres systèmes multimodauxcomme le système viticole développé par R&D Vision, équipé d’une caméra couleur, d’un capteur 3D et d’un capteur multispectral.

Résultats attendus

* Un état de l’art détaillé des méthodes d’apprentissage avec réseaux profond pour la détection de défauts et d’anomalies, l’intégration de connaissance a priori, dans un contexte multimodal et prédictif
* Une ou des méthodologie(s) pour intégrer des connaissances ou contraintes dans ces réseaux profonds et des moyens et outils pour vérifier l’impact positif de ces entrées ;
* Le développement, l’expérimentation et l’évaluation de plusieurs réseaux profonds pour au moins deux couples multimodaux : visible + 3D et visible + thermique.
* Au moins 2 publications scientifiques avec comité de lecture, nationale et internationale.

Organisation de la thèse

Le doctorant commencera sa thèse dans le laboratoire d’accueil à Rouen pendant environ un an et demi; il sera encadré par ses directrices de thèse et leurs équipes. Il commencera par faire un état de l’art du sujet et développera les éléments nécessaires pour son apprentissage et approfondissements des sujets. Dans un second temps, le doctorant pourra revenir en entreprise (Saint-Maur-des-Fossés) ou partager son temps entre le laboratoire et l’entreprise pour expérimenter les axes identifiés.

Voici un plan pour l’organisation de la thèse

1. Recueil de l’état de l’art et recueil des données :

· Intégration de connaissances et contraintes physique dans les apprentissages : augmentation de données, réseaux spécifiques, fonction de coût…

· Etat de l’art en fusion de données multi-capteurs, évaluation de méthodes pour le recalage de données issues de capteurs différents positionnées côte à côte, gestion des zones de non-recouvrement, des incertitudes et limites de fonctionnement respectives.

· Performances, complexités et applicabilité des méthodes existantes dans les domaines des réseaux profond ; étude des réseaux profonds multimodaux

2. Modélisation :

· Définition d’un modèle mathématique qui permettra de prendre en compte les données multimodales et d’y apporter des connaissances (augmentation de données, réseau spécifique (middle fusion) ou fonction de coût adaptée).

· Proposition d’une méthode pour évaluer la performance des réseaux et l’impact de l’ajout de connaissances en utilisant des données réelles.

3. Développement et expérimentation :

· Développement des modèles pour les trois problématiques proposées (2D, visible + 3D et visible + thermique) et des outils nécessaires à l’étude et à l’évaluation des réseaux

· Expérimentation avec les données sélectionnées

4. Généralisation et amélioration des modèles

· Généralisation de l’approche et tests avec d’autres types de données (viticole, ferroviaire, aéronautique, maintenance prédictive)

5. Validation et publication

Dans le même temps, le doctorant pourra assister le laboratoire ou les comités de revue de congrès de vision dans les revues de papiers soumis à différents congrès (ICCV, ECCV ). Il devra soumettre ses travaux à des conférences et/ou revues scientifiques nationales et internationales.

Références

#J-18808-Ljbffr