Evaluation de l'impact des agents conversationnels llm pour l'orientation scolaire et professionnelle: langage, confiance et justice sociale // conversational llms for school and career guidance: language, trust and social justice in educational ai syste

Topic description

L'orientation scolaire et professionnelle constitue un moment décisif dans les parcours des élèves, avec des effets durables sur la réussite académique et l'insertion sociale. Malgré la multiplication des plateformes d'information et des dispositifs de conseil, les taux de réorientation, de décrochage et les inégalités liées au genre, au territoire ou au milieu social demeurent élevés. Dans ce contexte, l'émergence d'agents conversationnels fondés sur de grands modèles de langue (LLM), tels que les chatbots d'orientation déjà déployés dans plusieurs académies et services privés, reconfigure profondément les modalités d'accompagnement. Ils promettent une information personnalisée, disponible en continu, mais soulèvent des questions majeures quant à la qualité des échanges langagiers, à la construction de la confiance et aux risques de reproduction ou d'amplification des biais sociaux.
Ce projet de thèse vise à étudier les systèmes d'orientation scolaire basés sur des LLM en articulant trois dimensions : la modélisation linguistique et interactionnelle des dialogues de guidance entre élèves et chatbots ; la dynamique de la confiance et de l'acceptabilité dans ces interactions homme–agent ; les enjeux de justice sociale, entendue comme égalité d'accès à l'information, équité des recommandations et prise en compte des contextes familiaux, territoriaux et socio économiques. La recherche s'appuiera sur la constitution et l'annotation fine de corpus de dialogues en français provenant de partenaires institutionnels et industriels (par exemple Hello Charly et plateformes rectorales), dans le strict respect des exigences d'anonymisation et de protection des données.
Sur le plan méthodologique, la thèse mobilisera des outils de TAL/LLM pour caractériser les registres discursifs (informationnel, motivationnel, réflexif), les marqueurs d'engagement et de compréhension, ainsi que la construction progressive des projets d'orientation. Des indicateurs de confiance seront élaborés en combinant signaux linguistiques (expressions de doute, d'adhésion, d'évaluation), comportements d'usage (durée et profondeur des échanges, retours, révisions de choix) et mesures psychosociales issues d'enquêtes auprès d'élèves et de conseillers d'orientation. Parallèlement, des métriques d'équité et de biais seront définies pour analyser la sensibilité des recommandations à des variables telles que le genre, la filière ou le contexte territorial, et pour comparer systématiquement les sorties des LLM aux décisions de conseillers humains.
L'objectif final est double. Sur le plan scientifique, il s'agit de mieux comprendre les propriétés linguistiques, interactionnelles et socio techniques des dialogues de guidance médiés par LLM, ainsi que les conditions sous lesquelles une confiance « bien calibrée » ( ni naïve ni excessive) peut émerger. Sur le plan opérationnel, la thèse produira des méthodes d'analyse et de mitigation des biais, des principes de conception pour des chatbots d'orientation plus transparents et explicables, ainsi que des indicateurs et tableaux de bord de suivi à destination des rectorats, établissements et décideurs publics. Elle contribuera ainsi au développement d'une intelligence artificielle éducative responsable, capable de soutenir des parcours plus justes, mieux informés et plus émancipateurs pour les élèves.
------------------------------------------------------------------------------------------------------------------------------------------------------------------------
------------------------------------------------------------------------------------------------------------------------------------------------------------------------

School and career guidance plays a decisive role in students' educational and professional trajectories, yet current digital services still coexist with high rates of reorientation, dropout and persistent social, territorial and gender inequalities. In parallel, conversational agents based on large language models (LLMs) are being introduced into guidance ecosystems, promising personalised, always on support but raising critical questions about language use, trust and social justice in recommendations. This PhD project investigates LLM based guidance chatbots used by high school students, in order to understand how these systems shape counselling interactions, how students build (or withdraw) trust in them, and to what extent they reproduce or mitigate pre existing inequalities.
The project is structured around three intertwined dimensions. First, it will model the linguistic and interactional properties of guidance dialogues between students and chatbots, by constructing and finely annotating French corpora from institutional and industrial partners (such as Hello Charly and rectorate platforms), with a focus on discourse registers (informational, motivational, reflective), engagement markers and the step by step construction of orientation projects. Second, it will analyse the dynamics of trust and acceptability by combining linguistic indicators (expressions of doubt, endorsement and evaluation), behavioural traces (length and depth of exchanges, repeated use, revisions of choices) and psychosocial measures gathered through surveys and interviews with students and human counsellors. Third, it will address social justice by defining fairness metrics tailored to francophone guidance contexts, and by systematically comparing LLM generated recommendations with decisions made by professional counsellors, in order to detect and mitigate biases related to gender, track, territory or socio economic background.
Methodologically, the PhD will rely on natural language processing and LLM based analysis models, contrastive evaluation protocols and bias mitigation strategies such as output filtering, preference based optimisation and constraints on sensitive attributes. Particular attention will be paid to factuality and hallucinations, robustness of answers, calibration of confidence and control of the computational footprint of the models, in line with the priorities of responsible and energy aware AI. Scientifically, the thesis aims to characterise LLM mediated guidance dialogues, to model the conditions under which appropriately calibrated trust (neither naive nor excessive) emerges in student–agent interactions, and to develop operational tools to monitor and reduce algorithmic biases in educational chatbots. Practically, it will provide design principles for more transparent and explainable guidance agents, as well as fairness and monitoring indicators for education authorities, contributing to educational AI systems that help reduce, rather than reinforce, existing inequalities.
------------------------------------------------------------------------------------------------------------------------------------------------------------------------
------------------------------------------------------------------------------------------------------------------------------------------------------------------------

Début de la thèse : 01/10/

Funding category

Funding further details

Financement d'un établissement public Français