Topic description
L'essor des technologies de réalité étendue (XR) ouvre de nouvelles perspectives pour la création musicale collaborative en environnement immersif. Toutefois, ces dispositifs restent encore peu évalués d'un point de vue scientifique, notamment en ce qui concerne l'engagement des utilisateurs et la qualité de l'expérience collective. Cette thèse propose d'étudier et de modéliser les mécanismes de l'engagement dans des contextes de co-création musicale en réalité virtuelle distribuée.
L'objectif principal est de concevoir un framework d'analyse multimodale capable de capturer, synchroniser et interpréter des données hétérogènes issues de l'activité instrumentale (gestes, flux audio, interactions sociales), afin de caractériser les dynamiques d'engagement individuel et collectif. Ce travail s'inscrit dans le champ de l'interaction humain-machine (IHM), à l'intersection des environnements collaboratifs et des technologies musicales numériques.
La démarche repose sur une approche expérimentale basée sur les standards ouverts du Web (WebXR, Web Audio), permettant de développer une plateforme instrumentée pour la co-création musicale immersive. Cette infrastructure servira à collecter des données en temps réel et à concevoir des outils de visualisation immersive, notamment sous forme de replays enrichis (heatmaps d'attention, trajectoires gestuelles, indicateurs de synchronie), facilitant l'analyse des sessions collaboratives.
La thèse s'articule autour de trois contributions principales : la formalisation théorique de l'engagement créatif collectif à partir de données multimodales, le développement d'un framework de visualisation immersive pour l'analyse de l'activité, et la définition et la validation expérimentale de métriques objectives d'engagement. Ces contributions seront évaluées à travers des études utilisateurs impliquant des profils variés (musiciens, apprenants, enseignants), dans des contextes de performance et d'apprentissage.
Le cadre théorique mobilise notamment la théorie du flow, la cognition incarnée et les modèles de présence sociale, afin d'interpréter les interactions entre corps, technologie et collaboration. L'hypothèse centrale est que l'engagement créatif peut être modélisé par la corrélation de données multimodales, et que leur visualisation immersive constitue un levier d'analyse plus efficace que les approches traditionnelles.
Au-delà des contributions scientifiques en IHM et en XR, ce travail vise à proposer des recommandations pour la conception de systèmes collaboratifs immersifs ouverts, avec des retombées potentielles pour l'éducation musicale, la création artistique et les environnements numériques collaboratifs.
------------------------------------------------------------------------------------------------------------------------------------------------------------------------
------------------------------------------------------------------------------------------------------------------------------------------------------------------------
The rapid development of extended reality (XR) technologies is opening new perspectives for collaborative music creation in immersive environments. However, these systems remain insufficiently evaluated from a scientific standpoint, particularly with regard to user engagement and the quality of the collective experience. This PhD project aims to investigate and model the mechanisms of engagement in distributed virtual reality contexts for musical co-creation.
The main objective is to design a multimodal analysis framework capable of capturing, synchronizing, and interpreting heterogeneous data derived from instrumental activity (gestures, audio streams, social interactions), in order to characterize both individual and collective engagement dynamics. This work is situated within the field of Human-Computer Interaction (HCI), at the intersection of collaborative environments and digital music technologies.
The research adopts an experimental approach based on open Web standards (WebXR, Web Audio), enabling the development of an instrumented platform for immersive musical co-creation. This infrastructure will support real-time data collection and the design of immersive visualization tools, notably through enriched replays (attention heatmaps, motion trajectories, synchrony indicators), facilitating the analysis of collaborative sessions.
The thesis is structured around three main contributions: the theoretical formalization of collective creative engagement based on multimodal data, the development of an immersive visualization framework for activity analysis, and the definition and experimental validation of objective engagement metrics. These contributions will be evaluated through user studies involving diverse profiles (musicians, learners, teachers), in both performance and learning contexts.
The theoretical framework draws on flow theory, embodied cognition, and social presence models to interpret the interactions between body, technology, and collaboration. The central hypothesis is that creative engagement can be modeled through the correlation of multimodal data, and that immersive visualization provides a more effective analytical approach than traditional methods.
Beyond its scientific contributions to HCI and XR, this work aims to provide design recommendations for open immersive collaborative systems, with potential applications in music education, artistic creation, and collaborative digital environments.
------------------------------------------------------------------------------------------------------------------------------------------------------------------------
------------------------------------------------------------------------------------------------------------------------------------------------------------------------
Début de la thèse : 01/10/
Funding category
Funding further details
Contrat doctoral EDSTIC-DS4H
En cliquant sur "JE DÉPOSE MON CV", vous acceptez nos CGU et déclarez avoir pris connaissance de la politique de protection des données du site jobijoba.com.