Modèles génératifs profonds pour la correction semi-supervisée d'environnements reconstruits par photogrammétrie // deep generative models for weakly-supervised correction of environments reconstructed by photogrammetry

Topic description

La reconstruction 3D d'un environnement complet à partir d'images est utile dans plusieurs applications incluant la réalité virtuelle [Lhuillier23]. Plusieurs méthodes de vision par ordinateur et de photogrammétrie sont nécessaires pour résoudre ce problème. Elles incluent l'estimation de la géometrie (paramètres de caméra et nuage de points) et la reconstruction de surface. Une voie prometteuse de recherche est la conception de méthodes d'apprentissage profond (AP) qui corrigent les erreurs de l'étape de reconstruction de surface avec des a priori de formes. Il faudrait aussi éviter l'AP supervisé, qui nécessite un jeu de données composé d'environnements générés par un scanner 3D. Il y a plusieurs raisons à cela: le prix/la disponibilité/les conditions expérimentales d'utilisation du scanner et le temps/
l'effort d'acquisition. Ici le jeu de données inclus de grands environnements reconstruits par une méthode précédante (qui est n'est pas AP), avec une minorité de corrections manuelles. Il peut aussi contenir des morceaux de surface, que l'on sait être très probable dans les environnements, et qui sont générés synthétiquement. Puis un réseau apprend à remplacer un morceau de surface incorrect ou improbable par un autre plus probable. Grâce à l'AP, on s'attend à améliorer des méthodes précédantes de reconstruction de surface (qui ne sont pas AP), par exemple quand les conditions expérimentales sont plus difficiles. Deux types de méthodes d'AP peuvent potentiellement faire cela. Les méthodes non-génératives (ex: auto-encoder) calculent un seul résultat, ie une surface corrigée, et ont des
inconvénients: l'incertitude du résultat est inconnue et l'utilisateur ne peut pas choisir le meilleur parmi plusieurs résultats. Les méthodes génératives (ex: auto-encoder variationnel [Kingma14], méthodes de diffusion [Ho20, Song19]) peuvent supprimer ces inconvénients car elles calculent plusieurs résultats.
------------------------------------------------------------------------------------------------------------------------------------------------------------------------
------------------------------------------------------------------------------------------------------------------------------------------------------------------------

The 3D reconstruction of a complete environment from images is useful for several applications including virtual reality [Lhuillier23]. Several methods of computer vision and photogrammetry are needed to solve this problem. They include the estimation of the geometry (camera parameters and cloud of 3D points) and the surface reconstruction. A promising way of research is the design of deep learning (DL) methods that correct errors of the surface reconstruction step using shape priors. We also would like to avoid supervised DL, which needs dataset of environments generated by 3D scanner. There are several reasons to do this: price/availability/experimental conditions of the scanner and time/effort of acquisition. Here the dataset includes large environments reconstructed by a previous method (which is not DL), with a minority of manual corrections. It can also include surface segments that are known to be very probable in the environments and that are synthesized. Then a network learns to replace a wrong or improbable segment of surface by a more probable one. Thanks to DL, we expect to improve previous (non-DL) surface reconstruction methods, for example when experimental conditions are difficult. Two kinds of DL methods can potentially do this. Non-generative method (eg auto-encoder) computes only one result, ie one corrected surface. It has drawbacks: the uncertainty of the result is unknown and user cannot choose the best among several results. Generative method (eg variational auto-encoder [Kingma14], diffusion model [Ho20,Song19) can remove these drawbacks since it provides several results.
------------------------------------------------------------------------------------------------------------------------------------------------------------------------
------------------------------------------------------------------------------------------------------------------------------------------------------------------------

Début de la thèse : 01/10/
WEB :

Funding category

Public funding alone (i.e. government, region, European, international organization research grant)

Funding further details

Concours pour un contrat doctoral