Stage - méthodes de régularisation de cartes de segmentation sémantique h/f

Mission

La classification consiste à associer une classe sémantique (ex : bâti, végétation, eau, etc.) à un pixel d’une image satellite (en l’occurrence, imagerie optique THR – Très Haute Résolution, type Pléiades, PNEO, CO3D).

Que ce soit via des méthodes de Machine Learning (random forest, k-means, SVM, etc.) ou Deep Learning (segmentation automatique), le résultat des cartes de classification est souvent imparfait :

- Effet « poivre et sel » des classifications pixelliques

- Contours des segmentations un peu lâches par rapport à la réalité (ex : les bords de bâtiments ne sont pas droits.)

Il est donc souvent nécessaire de régulariser les résultats, c'est-à-dire d’appliquer des méthodes pour faire correspondre au mieux les segments obtenus (regroupements de pixels d’une même classe) aux contours des « objets » de la scène observée.

Dans le cadre du projet CO3D (Constellation Optique 3D), des masques d’occupation des sols sont produits (eau, végétation basse, végétation haute, bâti, sol nu) et servent à la fois d’a priori sémantiques pour améliorer la reconstruction 3D et de cartes auxiliaires pour l’utilisateur final :

- Les cartes d’eau permettent actuellement « d’aplatir » le MNS (Modèle Numérique de Surface) sur les zones d’eau avec différentes stratégies selon qu’il s’agit d’un lac, d’une rivière ou de la mer.
- Les masques de végétation ont un niveau de qualité correct même s’il existe des confusions végétation basse/végétation haute.

- Par contre, les masques de bâti sont d’un niveau de qualité très variable et ont besoin d’être régularisés afin d’être alignés sur les contours des bâtiments réels.

Le CNES développe un outil Open-Source, SLURP (Smart Land-Use Reconstruction Pipeline) implémentant ces algorithmes de classification. Ils ont pour point commun d’être assez robustes, économes en temps de calcul et généralisables (peu ou pas de données d’entrée, applicable à toute zone du globe).

De nombreuses méthodes de régularisation existent (dont certaines ont déjà été en partie testées dans SLURP) :

- Approches pixelliques type grabcut (et graphcut) consistant à minimiser le coût global d’une segmentation et affecter les pixels indécis entre des classes FG (Foreground : classe d’intérêt) et BG (background : le fond).
- Méthodes par marqueurs et watershed : cela consiste à réaliser une segmentation « watershed » dans une image de gradient (contours) de l’image initiale afin d’étaler des tâches de pixels a priori fiables déterminées avec différents critères.
- Méthodes variationnelles (optimisation de coût) type Mumford-Shah
- Approches vectorielles (outil GeoDAN, développé dans le cadre du projet AI4GEO)

- Méthodes déformables (a priori géométrique)

Objectif du stage

L’objectif du stage est de développer et valider de nouvelles méthodes de régularisation, qui fonctionnent dans le contexte CO3D (capacité à généraliser, approche « frugale », utilisation raisonnable des ressources CPU et mémoire). Ces méthodes de régularisation visent avant tout à améliorer le contour du bâti.

Ces méthodes seront intégrées dans SLURP de façon à bénéficier d’un environnement logiciel stable et de pouvoir lancer facilement des campagnes de tests.

Missions / étapes du stage

Le/la stagiaire devra :

- Prendre en main l’outil SLURP et son utilisation sur les images THR mises à disposition,
- Réaliser une analyse bibliographique pour approfondir ses connaissances sur les méthodes de régularisation et explorer de nouvelles pistes,
- Mettre en place un protocole de validation, détaillant les analyses quantitatives et qualitatifs des résultats
- Mettre en place un banc de tests pour comparer les résultats sur différents cas (images + données de référence) et extraire automatiquement l’analyse quantitative des résultats
- Lancer différentes campagnes de tests en paramétrant les méthodes existantes ou en développant de nouvelles approches
- Valider et documenter les résultats obtenus
- Analyser l’efficacité du code, en terme de temps de calcul et occupation mémoire
- Analyser l’utilisation des masques obtenus dans CARS afin d’estimer si la restitution 3D peut bénéficier des méthodes sélectionnées
- Faire une synthèse et des préconisations en fonction des types de cas à traiter.

Le stage permettra de développer des compétences suivantes :

- Traitement d’images THR de type Pléiades, PNEO et CO3D
- Développement d’algorithmes en Python en se basant sur un éco-système complet (portail GEODES-Tools, outils Python, environnement Cluster du CNES)
- Démarche scientifique pour mettre en place l’analyse des résultats

Le stage pourrait débuter en Janvier 2026.

Profil

- en dernière année d'école d'ingénieur, en M2, ou en césure ou université
- Maîtrise de Python (niveau basique ou avancé)
- Appétence pour le domaine spatial et le traitement d’images
- Intérêt pour les mathématiques et l’intelligence artificielle (machine learning)
- Capacité à travailler de manière autonome et collaborative au sein d'une équipe
- Esprit d'initiative et motivation