Contexte et atouts du poste
L'objectif de cette thèse est de développer un cadre neuro-symbolique fondé sur les graphes de connaissances (GCs) pour modéliser et interpréter l'activité des utilisateurs, permettant ainsi l'extraction et le raffinement dynamique de schémas comportementaux exploratoires interprétables, susceptibles de servir de base solide à des systèmes de visualisation adaptatifs et assistés par l'IA.
L'activité de l'utilisateur désigne toute information décrivant un utilisateur au cours de sa session d'interaction avec un système de visualisation, que ce soit par le biais d'interactions avec le système, de capteurs capturant des données biométriques ou de déclarations de l'utilisateur [1], étude qui occupe une place centrale dans le domaine de recherche de la provenance analytique [2]. L'étude de l'activité de l'utilisateur facilite l'évaluation des systèmes de visualisation, la validation des résultats analytiques, la recommandation de vues ou de tâches adaptées, entre autres [3]. Elle est particulièrement pertinente dans les contextes exploratoires, où les utilisateurs naviguent dans des ensembles de données volumineux et complexes sans objectifs prédéfinis et s'appuient souvent sur plusieurs vues complémentaires pour découvrir des motifs dans les données et extraire de la connaissance. Le volume et la diversité croissants des données et des techniques de visualisation exigent des paradigmes d'interaction flexibles, permettant aux utilisateurs de construire leurs propres flux de travail exploratoires. Par exemple, le système de visualisation eSTIMe [4], qui servira d'étude de cas pour ce travail, permet aux utilisateurs d'instancier dynamiquement des techniques de visualisation et d'assembler des tableaux de bord adaptés à la tâche à accomplir. Bien que puissante, cette flexibilité est limitée par le temps et l'expertise restreints dont disposent les utilisateurs pour une configuration efficace [5].
Il a été démontré que les caractéristiques des utilisateurs influencent la manière dont ceux-ci interagissent avec les visualisations, ce qui a des répercussions sur la précision, la rapidité et l'attention [6], renforçant ainsi la nécessité de disposer de visualisations adaptatives à l'utilisateur. Cependant, ces systèmes restent rares car ils requièrent une expertise couvrant plusieurs sous-domaines de la visualisation, notamment l'identification des caractéristiques des utilisateurs, la conception de l'adaptation et la sélection des interventions [1]. Malgré des travaux importants sur la capture et la visualisation des traces d'activité des utilisateurs, les représentations existantes sont généralement propriétaires ou ad hoc [3], ce qui limite le raisonnement automatisé, l'interopérabilité et la réutilisation à long terme. Les modèles actuels n'offrent qu'une couverture partielle du problème et ne parviennent pas à fournir une solution unifiée et basée sur des normes. Les graphes de connaissances (GC), fondés sur les normes du Web sémantique telles que RDF, RDFS et OWL, offrent une alternative prometteuse pour représenter l'activité des utilisateurs sous forme de données liées et riches sur le plan sémantique. Ces structures interopérables permettent une modélisation, une intégration, une interrogation et un raisonnement standardisés sur les modèles d'interaction, et prennent en charge des recommandations adaptatives, interprétables et assistées par l'IA. Plus précisément, l'adaptation assistée par l'IA, conçue comme un dialogue interactif entre le système et l'utilisateur, peut aider à guider les utilisateurs vers une utilisation plus efficace des outils de visualisation tout en préservant leur autonomie. La concrétisation de cette vision nécessite des interfaces prenant en charge la personnalisation pilotée par l'utilisateur, combinée à des mécanismes permettant au système d'observer, d'interpréter et d'agir en fonction de l'activité de l'utilisateur de manière contrôlée et responsable.
Références bibliographiques
[1] F. Yanez, C. Conati, A. Ottley, and C. Nobre, “The State of the Art in User-Adaptive Visualizations,” Computer Graphics Forum, 2024.
[2] C. North, R. May, R. Chang, B. Pike, A. Endert, G. A. Fink, and W. Dou, “Analytic Provenance : Process + Interaction + Insight,” 29th Annual CHI Conference on Human Factors in Computing Systems, CHI 2011, 2011.
[3] K. Xu, A. Ottley, C. Walchshofer, M. Streit, R. Chang, and J. Wenskovitch, “Survey on the Analysis of User Interactions and Visualization Provenance,” Computer Graphics Forum, 2020.
[4] A. Menin, eSTIMe : a visualization framework for assisting a multi-perspective analysis of daily mobility data. PhD thesis, Grenoble UGA - Universit ́e Grenoble Alpes, Nov. 2020.
[5] S. Lall ́e and C. Conati, “The role of user differences in customization : a case study in personalization for infovis-based content,” in Proceedings of the 24th International Conference on Intelligent User Interfaces, 2019.
[6] A. Ottley, R. J. Crouser, C. Ziemkiewicz, and R. Chang, “Manipulating and controlling for personality effects on visualization tasks,” Information Visualization, 2013.
Mission confiée
S'appuyant sur des travaux antérieurs (par exemple, DIVA-O, une ontologie OWL destinée à modéliser les interactions explicites des utilisateurs au sein des systèmes de visualisation [1], et des ensembles de données ouverts sur l'activité des utilisateurs [2]), cette thèse de doctorat vise à développer des modèles RDF et IA pour la visualisation adaptative, à travers les objectifs suivants :
1. Modélisation sémantique de l'activité de l'utilisateur : Développer un cadre unifié, fondé sur des vocabulaires RDF, pour représenter l'activité multimodale de l'utilisateur sous forme de GC, y compris des méthodes permettant d'intégrer et de structurer les données hétérogènes générées lors de l'exploration visuelle, notamment les interactions de l'utilisateur, le suivi du regard et les verbalisation.
2. Découverte et prédiction du comportement exploratoire de l'utilisateur : Étudier et mettre en œuvre des méthodes d'exploration de règles pour extraire et prédire le comportement exploratoire à l'aide de GCs, en combinant le raisonnement symbolique et l'IA afin d'extraire des modèles et des règles interprétables.
3. Réglage fin dynamique des règles et validation des modèles : Développer des méthodes pour le raffinement incrémental et adaptatif des règles comportementales pendant l'exploration, et évaluer leur qualité, leur interprétabilité et leurs capacités prédictives dans des scénarios réels.
Références bibliographiques
[1] A. Menin and C. Faron, “DIVA : An Ontology-based Approach to Model User Activity within Visualization Systems,” in SAC 2026 - 41st ACM/SIGAPP Symposium on Applied Computing, 2026.
[2] S. Mohseni, A. Pachuilo, E. H. Nirjhar, R. Linder, A. Pena, and E. D. Ragan, “Analytic Provenance Datasets : A Data Repository of Human Analysis Activity and Interaction Logs,” 2018
Principales activités
Activités principales :
4. Revue de la littérature et analyse de l'état de l'art : Réaliser une revue exhaustive sur les études de provenance analytique, modélisation de l'activité des utilisateurs et méthodes d'IA neurosymbolique pour la découverte et prédiction de comportements à partir des données multimodales et dynamiques.
5. Modélisation sémantique de l'activité des utilisateurs : Étendre l'ontologie DIVA-O afin de représenter l'activité utilisateur multimodale, en ajoutant des aspects d'observation (suivi du regard), interprétation de l'utilisateur et des constructions analytiques de niveau supérieur.
6. Construction de graphes de connaissances : Dévélopper un pipeline de transformation de données hétérogènes sur l'activité utilisateur en GCs structurés, incluant l'intégration, l'enrichissement et l'alignement des données entre les sessions et les utilisateurs.
7. Extraction de règles neurosymboliques : Développer des méthodes combinant le raisonnement symbolique et l'apprentissage automatique pour extraire des règles et des modèles comportementaux interprétables à partir de CGs, afin de permettre une découverte et une prédiction explicables du comportement exploratoire des utilisateurs.
8. Évaluation et validation des modèles : Évaluer la qualité, l'interprétabilité et les capacités prédictives des modèles proposés à l'aide d'ensembles de données réels, en mettant l'accent sur leur capacité à saisir et à généraliser le comportement des utilisateurs.
9. Diffusion des résultats : Publier les résultats lors de conférences internationales et dans des revues spécialisées en visualisation, ingénierie des connaissances, Web sémantique et IA, et contribuer aux ressources open source.
Activités complémentaires :
10. Collaboration et supervision : Travailler en étroite collaboration avec l'équipe de recherche et contribuer à la supervision d'étudiants en master sur des sujets connexes.
Compétences
Compétences techniques et niveau requis :
Ingénierie des connaissances (modélisation par ontologies RDF/OWL, conception et exploitation de graphes de connaissances), IA neurosymbolique, bases solides en apprentissage automatique et raisonnement symbolique, manipulation de données (Python, SPARQL).
Langues :
Anglais (courant, écrit et oral), français (optionnel).
Compétences relationnelles :
Autonomie, rigueur scientifique, esprit d’analyse, capacité à travailler en équipe interdisciplinaire, bonnes compétences en communication écrite et orale.
Compétences additionnelles appréciées :
Connaissances en visualisation de données ou IHM, expérience avec des données multimodales (logs d’interaction, eye-tracking), intérêt pour les systèmes interactifs ou adaptatifs, expérience en développement logiciel et/ou open source.
Avantages
11. Restauration subventionnée
12. Transports publics remboursés partiellement
13. Congés: 7 semaines de congés annuels + 10 jours de RTT (base temps plein) + possibilité d'autorisations d'absence exceptionnelle (ex : enfants malades, déménagement)
14. Possibilité de télétravail (après 6 mois d'ancienneté) et aménagement du temps de travail
15. Équipements professionnels à disposition (visioconférence, prêts de matériels informatiques, etc.)
16. Prestations sociales, culturelles et sportives (Association de gestion des œuvres sociales d'Inria)
17. Accès à la formation professionnelle
18. Sécurité sociale
Rémunération
Pour un doctorant
Durée: 36 mois
Localisation: Sophia Antipolis, France
Rémunération brute mensuelle : 2300€
En cliquant sur "JE DÉPOSE MON CV", vous acceptez nos CGU et déclarez avoir pris connaissance de la politique de protection des données du site jobijoba.com.