Indirection tétraédrique pour l'animation et le rendu physiquement réaliste d'objets meshless // tetrahedral indirection for the animation and physically realistic rendering of meshless objects

Topic description

L'essor des méthodes d'apprentissage en vision par ordinateur a entraîné une multiplication des représentations meshless (sans maillage) d'objets 3D. L'apparition récente du 3D Gaussian Splatting (3DGS) illustre cette tendance : ces représentations apprises, aux côtés des Signed Distance Functions (SDF) et des représentations voxel, permettent la reconstruction automatique à partir d'images, le rendu en temps réel et la modélisation de topologies variées. Néanmoins, leur intégration dans des pipelines d'animation et de simulation interactive demeure une problématique ouverte.
De nombreuses applications nécessitent à la fois un réalisme visuel élevé et des calculs physiques précis — que ce soit pour les effets visuels (VFX), les jeux vidéo, ou les logiciels de simulation médicale comme SOFA. Les représentations meshless présentent un fort potentiel pour ces usages, mais se heurtent à deux verrous scientifiques majeurs :
Le rendu volumétrique animé : animer un objet meshless revient à déformer l'espace dans lequel il est défini. Or, le rendu volumétrique nécessite d'échantillonner l'objet dans l'espace déformé, alors que la représentation n'est évaluable que dans l'espace de référence. L'inversion de la fonction de déformation est coûteuse et souvent instable pour des déformations complexes.
Le calcul de collisions : pour des représentations meshless soumises à des déformations non linéaires, les distances calculées dans l'espace de référence ne sont plus fiables. De plus, certaines représentations comme les splats gaussiens n'encodent pas explicitement de surface géométrique, rendant ambiguë la définition d'une frontière solide pour la détection de collision.
Ces deux verrous sont fondamentalement interdépendants : l'animation engendre des collisions, dont la résolution induit de nouvelles déformations, créant une boucle de rétroaction qui doit être traitée de manière intégrée.
Nos travaux préliminaires ont posé les bases de cette intégration. La méthode Interval Shading [2] introduit l'utilisation de maillages tétraédriques dans le pipeline de rastérisation pour le rendu volumétrique. En s'appuyant sur cette approche, nous avons développé une structure d'indirection tétraédrique [1] permettant d'animer en temps réel des objets meshless par rastérisation. L'animation est définie aux sommets du maillage, chaque tétraèdre encodant une déformation linéaire locale. Néanmoins, ces méthodes ne traitent pas encore les phénomènes optiques complexes (scattering, émissivité) ni le calcul de collisions.
------------------------------------------------------------------------------------------------------------------------------------------------------------------------
------------------------------------------------------------------------------------------------------------------------------------------------------------------------

The rise of machine learning methods in computer vision has led to a proliferation of meshless (unmeshed) representations of 3D objects. The recent emergence of 3D Gaussian Splatting (3DGS) illustrates this trend: these learned representations, along with Signed Distance Functions (SDF) and voxel representations, enable automatic reconstruction from images, real-time rendering, and the modeling of varied topologies. However, their integration into animation and interactive simulation pipelines remains an open challenge.
Many applications require both high visual realism and precise physical calculations—whether for visual effects (VFX), video games, or medical simulation software like SOFA. Meshless representations offer strong potential for these uses, but they run into two major scientific bottlenecks:
Animated Volumetric Rendering: Animating a meshless object amounts to deforming the space in which it is defined. However, volumetric rendering requires sampling the object in the deformed space, whereas the representation can only be evaluated in the reference space. Inverting the deformation function is computationally expensive and often unstable for complex deformations.
Collision Detection and Resolution: For meshless representations subjected to non-linear deformations, distances calculated in the reference space are no longer reliable. Furthermore, certain representations like Gaussian splats do not explicitly encode a geometric surface, making the definition of a solid boundary for collision detection ambiguous.
These two bottlenecks are fundamentally interdependent: animation triggers collisions, the resolution of which induces new deformations, creating a feedback loop that must be handled in an integrated manner.
Our preliminary work has laid the foundation for this integration. The Interval Shading method [2] introduces the use of tetrahedral meshes in the rasterization pipeline for volumetric rendering. Building on this approach, we developed a tetrahedral indirection structure [1] that enables the real-time animation of meshless objects via rasterization. The animation is defined at the vertices of the mesh, with each tetrahedron encoding a local linear deformation. However, these methods do not yet handle complex optical phenomena (scattering, emissivity) or collision computations.
------------------------------------------------------------------------------------------------------------------------------------------------------------------------
------------------------------------------------------------------------------------------------------------------------------------------------------------------------

Début de la thèse : 01/10/

Funding category

Funding further details

Concours allocations