Stage recherche - etude et entrainement d'un modèle 3d surface réfléchissantes f/h

Votre rôle

Regarder une scène dans un casque de VR (Oculus, Apple Vision Pro) implique de produire un modèle 3D de la scène. Les scènes synthétiques sont créées par des artistes et prennent généralement la forme de maillages et d'artefacts graphiques 3D. Produire un modèle 3D d'une scène réelle est beaucoup plus difficile et en est encore au stade de la recherche.

Cependant, les progrès réalisés ces dernières années ont été remarquables, et la famille d'algorithmes à la pointe de la technologie (basée sur [1] 3d gaussian splatting, ou 3DGS) parvient à produire un modèle satisfaisant à partir d'un nombre raisonnable d'images d'entrée.

Selon la technologie citée, un modèle 3D est produit par machine learning, par différence entre l’apparence de ce modèle projeté en 2D et des photos de la scène réelle. Ce procédé permet fonctionne d’autant mieux que les points constituant la scène ont la même couleur quel que soit le point de vue. Dans les cas réels, la couleur d’une surface peut dépendre de l’angle sous lequel on la voit, on parle de spécularité. Les cas les plus typiques sont les surfaces métalliques. La solution utilisée par 3DGS pour prendre en compte les spécularités est l’utilisation d’harmoniques sphériques. Ce modèle versatile permet un premier niveau de prise en compte du problème mais utilise de nombreux paramètres, donc des fichiers plus gros. Par ailleurs, il ne permet de prendre en compte que des variations très lentes de la couleurs, mais pas des reflets plus marqués.

Les modèles de BRDF (Bidirectional Reflectance Distribution Function), très utilisés dans le domaine des Computer Graphics, sont beaucoup plus puissants pour représenter les surfaces spéculaires, mais nécessitent la connaissance de la normale à la surface. Le sujet de ce stage est d’étudier ce que la connaissance des normales permettrait d’améliorer pour la prise en compte des surfaces spéculaires dans un modèle 3D de type 3DGS.

Chez Orange Innovation, le stage se déroulera au sein d'une équipe pluridisciplinaire, avec des experts en machine learning et en reconstruction vidéo 3D.

La mission de ce stage est d’entraîner à partir d'un ensemble de photos un modèle représentant une scène dont certaines surfaces sont spéculaires (avec reflets). Le modèle sera modifié pour utiliser une information de normales connue a priori, pour identifier le potentiel d’amélioration apporté par cette information.

Activités principales :

1. Lire la documentation sur le 3d gaussian splatting et les modèles dérivés évaluant les normales aux surfaces

2. Produire un modèle a l’état de l’art sur la base de photos d’une scène réelle

3. Décider du modèle à mettre en place pour gérer les spécularités

4. Mettre en œuvre le modèle discuté, le tester et l'améliorer de manière incrémentale.

References:

[1] Kerbl, B., Kopanas, G., Leimkühler, T., & Drettakis, G. (2023). 3d gaussian splatting for real-time radiance field rendering https://repo-sam.inria.fr/fungraph/3d-gaussian-splatting/