Deep learning methods to improve 3d gaussian splatting training h/f

Rejoignez-nous en Stage ! CEA Tech Corporate from CEA Tech on Vimeo. En tant que stagiaire au CEA, vous aurez l'opportunité de travailler au sein d'un environnement de recherche de renommée mondiale. Nos équipes sont composées d'experts passionnés et dédiés, offrant un cadre propice à l'apprentissage et à la collaboration. Vous aurez accès à des équipements de pointe et à des ressources de recherche de premier ordre pour mener à bien vos missions. Le sujet du Novel View Synthesis a connu ces dernières années des avancées remarquables grâce à l'apparition des Neural Radiance Field puis des 3D Gaussian Splatting. Notre laboratoire a ainsi développé un outil de visualisation et d'interaction en Réalité Virtuelle sur les plateformes Unity3D et UnrealEngine basé sur cette dernière approche qui a rencontré un grand succès (https://www.youtube.com/watch?v=aZizVJ0TG4U). Il existe toujours des problèmes de reconstruction dans certaines parties des images, notamment dues aux réflexions (surfaces brillantes, miroirs) et aux zones uniformes (murs lisses, sols unis). Ces environnements difficiles peuvent entraîner des artefacts ou des zones floues, dégradant la qualité visuelle du rendu final. Des techniques comme la segmentation, l'inpainting multi-vues et les modèles de diffusion multi-vues montrent un fort potentiel pour isoler et traiter ces problèmes. Ils pourraient nous permettre d'améliorer ou recréer ces zones mal reconstruites. Le sujet de ce stage consistera donc à explorer de telles techniques, évaluer leur efficacité et développer un prototype capable de détecter les zones à améliorer et appliquer les modèles adéquats de manière optimale.