Évaluation multimodale du risque de chute en réalité virtuelle par fusion motricité–cognition–physiologie (imu - fnirs - rppg) // multimodal assessment of fall risk in virtual reality through the fusion of motor–cognitive–physiological data (imu - fnirs -

Topic description

Contexte et problématique

Les chutes chez les personnes âgées sont un enjeu majeur de santé publique, avec des causes multifactorielles (motrices, cognitives, émotionnelles). Le test clinique Time Up and Go (TUG) est largement utilisé, mais il reste limité en précision prédictive. Les approches récentes en réalité virtuelle (RV) permettent de standardiser les protocoles, enrichir les situations (obstacles, perturbations) et collecter des indicateurs cinématiques fins. Cependant, ces systèmes restent majoritairement centrés sur la performance motrice, sans intégrer la dimension physiologique (coût de l'effort, stress, charge cognitive), pourtant essentielle pour comprendre le risque de chute.

Objectifs scientifiques

L'objectif général est de proposer une évaluation multimodale du risque de chute en RV, combinant trois dimensions complémentaires :
1. Mobilité : performance et stabilité du mouvement (via IMU).
2. Cognition : capacité à gérer des situations de double tâche (tâches cognitives simultanées).
3. Physiologie : réponse cardiovasculaire et émotionnelle (via rPPG, AED, fNIRS).

Cette approche vise à :
- Améliorer la sensibilité et la spécificité de la détection du risque de chute.
- Identifier des profils de fragilité différenciés.
- Proposer de nouveaux biomarqueurs numériques exploitables en clinique.

Méthodologie

Dispositif expérimental
- Casque de RV équipé de caméras embarquées.
- Caméra visible pour l'estimation de la rPPG (fréquence cardiaque, variabilité).
- Caméra infrarouge (IR) pour l'estimation de l'activité électrodermale (AED) (stress, charge mentale).
- Système de capture de mouvement (5 trackers IMU).
- Capteur fNIRS pour mesurer la charge cognitive (activation préfrontale).

Traitement des données

- Extraction et traitement des signaux HRV, AED, fNIRS (filtrage, classification).
- Analyse cinématique (stabilité, variabilité, trajectoire).
- Fusion multimodale :
- Synchronisation temporelle.
- Apprentissage de représentations conjointes.

Protocoles expérimentaux

- TUG classique vs TUG enrichi (obstacles, perturbations).
- Conditions simple tâche vs double tâche (calcul mental, mémorisation).
- Scénarios émotionnels contrôlés.

Population cible

- Sujets sains (jeunes vs âgés).
- Patients à risque de chute (évalués à l'OHS Lorraine).

Verrous scientifiques et défis

- Robustesse des capteurs en RV :
- rPPG (mouvements, occlusions, éclairage).
- AED (mouvements, pilosité).
- fNIRS (mouvements).
- Interprétation des signaux physiologiques (distinction effort vs stress, charge mentale).
- Fusion de données hétérogènes (temps réel, bruitées).
- Validation clinique des nouveaux indicateurs.

Contributions attendues

Scientifiques
- Nouveau cadre d'analyse du risque de chute (multimodal).
- Définition de biomarqueurs physio-mouvement et cognitifs.
- Avancées méthodologiques en rPPG, AED, fNIRS en conditions dynamiques.

Cliniques
- Outil d'évaluation plus précis et reproductible.
- Meilleure stratification des patients.
- Suivi longitudinal objectivé.

Technologiques

- Intégration de capteurs passifs dans les systèmes RV.
- Vers des solutions non invasives et accessibles.

Perspectives

- Adaptation en télérééducation (domicile).
- Applications en santé mentale (anxiété, phobies).
- Systèmes adaptatifs en temps réel (biofeedback implicite).

Encadrement

La thèse est encadrée par :
- F. Bousefsaf (thème MSPRE) pour la partie physiologique et IA.
- Yann Morère (thème EPSAP) pour l'évaluation et les biomarqueurs de la mobilité.

Conclusion

Cette thèse propose une approche innovante pour évaluer le risque de chute en combinant motricité, cognition et physiologie via la réalité virtuelle. En intégrant des capteurs non invasifs (rPPG, AED, fNIRS), elle vise à améliorer la détection précoce de la fragilité et à proposer des biomarqueurs exploitables en clinique.
------------------------------------------------------------------------------------------------------------------------------------------------------------------------
------------------------------------------------------------------------------------------------------------------------------------------------------------------------

Background & Problem Statement
Falls in older adults are a major public health concern with multifactorial causes (motor, cognitive, attentional, and emotional). The Time Up and Go (TUG) test is widely used but lacks predictive precision. Recent virtual reality (VR) approaches enable standardized protocols, enriched scenarios (obstacles, perturbations), and fine-grained kinematic analysis. However, existing systems focus primarily on motor performance, neglecting physiological dimensions (effort cost, stress, cognitive load), which are critical for understanding fall risk.

This thesis builds on a MAIF Foundation-funded project (–) defining new mobility biomarkers using VR, alongside a PhD thesis on mobility assessment in older adults via wearable IMUs. Machine learning models were developed using a public dataset from Kiel University, Germany [1], [2].

Key Innovation
We propose a non-invasive, multimodal VR-based fall risk assessment integrating:
1. Mobility (IMU-based movement analysis),
2. Cognition (dual-task performance),
3. Physiology (cardiovascular, emotional, and cognitive responses via rPPG, EDA, and fNIRS).

Scientific Objectives
- Improve fall risk detection sensitivity and specificity.
- Identify distinct fragility profiles.
- Propose novel digital biomarkers for clinical use.
- Enable earlier fragility detection.

Sub-objectives:
1. New Indicators:
- Cardiovascular cost of movement,
- Physiological recovery time,
- Task-related instability.
2. Cognition-Motor Interaction:
- Introduce cognitive tasks (mental arithmetic, memory) and contextual perturbations (dynamic obstacles, distractions) in VR.
- Estimate cognitive load via EDA, HRV, and fNIRS to:
- Enhance understanding of the cognition-fall link,
- Identify at-risk profiles in ecological conditions.

Methodology
Experimental Setup
- VR headset with embedded cameras,
- Visible-light camera for rPPG (heart rate, HRV),
- Infrared camera for EDA (stress, mental load),
- Motion capture system (5 IMU trackers),
- fNIRS sensor (cognitive load, prefrontal activation).

Data Processing
- Extraction and filtering of HRV, EDA, fNIRS signals,
- Kinematic analysis (stability, variability, trajectory),
- Multimodal fusion:
- Temporal synchronization,
- Joint representation learning.

Protocols
- TUG (classic vs enriched),
- Single vs dual-task conditions,
- Controlled emotional scenarios.

Population
- Healthy subjects (young vs elderly),
- Fall-risk patients (assessed at OHS Lorraine).

Scientific Challenges
- rPPG robustness in VR (motion, occlusions, lighting),
- EDA robustness in VR (motion, occlusions, facial hair),
- fNIRS robustness during movement,
- Distinguishing effort vs stress vs cognitive load in signals,
- Real-time fusion of heterogeneous, noisy data,
- Clinical validation of new indicators.

Expected Contributions
Scientific:
- New multimodal framework for fall risk analysis,
- Definition of physio-motor-cognitive biomarkers,
- Methodological advances in rPPG, EDA, fNIRS for dynamic conditions.

Clinical:
- More precise, reproducible assessment tool,
- Better patient stratification,
- Objective longitudinal monitoring.

Technological:
- Integration of passive sensors in VR systems,
- Non-invasive, accessible solutions.

Perspectives
- Adaptation for tele-rehabilitation (home use),
- Applications in mental health (anxiety, phobias),
- Real-time adaptive systems (implicit biofeedback).

Supervision
The PhD will be co-supervised by:
- F. Bousefsaf (MSPRE theme) for physiological and AI aspects,
- Yann Morère (EPSAP theme) for mobility assessment and biomarkers.

Conclusion
This thesis proposes a groundbreaking approach to fall risk assessment by combining motor, cognitive, and physiological data in VR. Using non-invasive sensors (rPPG, EDA, fNIRS), it aims to enhance fall risk detection, define novel biomarkers, and improve clinical evaluation of fragility.
------------------------------------------------------------------------------------------------------------------------------------------------------------------------
------------------------------------------------------------------------------------------------------------------------------------------------------------------------

Début de la thèse : 01/10/
WEB :

Funding category

Public funding alone (i.e. government, region, European, international organization research grant)

Funding further details

Concours pour un contrat doctoral