Stage - application des neural radiance fields au mode vidéo de co3d h/f

Mission

En partenariat CNES / AIRBUS, la constellation CO3D, composée deux paires de satellites (donc 4 au total) a été lancée fin juillet 2025. Le but de la mission est de cartographier l'ensemble des terres émergées en cette capacité de restitution 3D, la mission sert aussi à éprouver de nouveaux principes d'acquisition et notamment un mode vidéo très prometteur et ouvrant un large domaine satellites dans ce mode sont capables de fixer un point du globe de capturer des images à une fréquence de 5 frames par seconde, permettant d'avoir d'infimes changements de l'angle d'acquisition de l'image, et donc de changements de points de vues d'observation, remontant à la 3D de la scène.

Aujourd'hui, certains modèles d’apprentissage profond nommés les Neural Radiance Fields ou NeRF, permettent d'extraire un champ de radiance à partir de plusieurs images d’une même scène, encodant la scène complète par ses coordonnées en 3D. Cela permet, en outre, de synthétiser des prises de vues depuis n'importe quel angle de vue. Ce modèle permet de décomposer la scène afin de rendre des images sans ombres, sans voitures, avec un angle solaire différent, etc.

L’objectif de ce stage est d'utiliser ces modèles d'apprentissage profond afin de montrer la capacité de ces derniers à exploiter ces vidéos pour par exemple :

1. Générer de nouvelles vues entre les vues acquises par le satellite et ainsi augmenter la fréquence temporelle d'acquisition,
2. Générer des vidéos au même nombre de frames dans le produit vidéo final mais en diminuant le nombre de frames acquises par le satellite, et permettra de dimensionner les demandes de vidéos futures,
3. Générer des modèles 3D de qualité à partir de la grande quantité d'image disponibles sur la scène,
4. Générer des vidéos sans ombres / sans objet transitoires.
Dans un premier temps, le stage portera sur le nombre d'images de la vidéo nécessaire pour reconstruire une scène en 3D par modèle NeRF. Puis explorera les générations possibles afin d'illustrer l'apport de ce mode d'acquisition pour la communauté scientifique mais aussi de dimensionner les commandes faites aux satellites projet CO3D :

Profil

Stage de 6 mois avec le profil recherché suivant en dernière année Ecole d'ingénieur, Master 2 ou césure

5. Appétence pour le domaine spatial, la programmation informatique et les modèles d’apprentissage profonds (Pytorch) avec idéalement une première expérience dans le domaine.
6. Maitrise basique ou avancée de Python et des bases informatiques autour de linux, bash
7. Esprit d'initiative et motivation

Compétences

linux python programmation traitement d'image pytorch 3D