Enact chatbot axé sur le comportement social pour le coaching en communication des étudiants en médecine // enact social-behavior-aware chatbot for a communication skills coaching of medical students

Topic description

Motivations et contexte

Des compétences en communication efficaces sont cruciales dans les professions de santé pour une bonne transmission de l'information et le maintien de la confiance des usagers. Malheureusement, les possibilités de formation à ces compétences sont souvent limitées par le besoin d'interviewés humains, ce qui augmente les coûts et réduit l'accessibilité. Les progrès récents en traitement automatique du langage naturel (TALN) permettent de créer des agents multimodaux virtuels capables de simuler ces entretiens.
Cette thèse de doctorat porte sur la formation des étudiants en médecine aux examens cliniques structurés par objectifs (ECOS), un exercice où ils incarnent un médecin interagissant avec un « patient standardisé » joué par un volontaire en présence d'un évaluateur qui évalue leurs compétences cliniques et communicationnelles. L'ECOS compte pour un tiers des points de l'examen national de classement. La Faculté de médecine de l'UL a été pionnière dans la mise en œuvre de ces ECOS en France et vise à en élargir l'accès grâce aux technologies de l'IA.
Cette thèse abordera les défis de la recherche en IA liés à la création d'un système de coaching en communication pour les ECOS utilisant des agents conversationnels multimodaux. De nouvelles méthodologies seront étudiées pour générer la réponse textuelle du patient virtuel et pour modéliser la personnalité du patient capable de réagir d'une manière qui s'aligne sur le comportement social du médecin observé (verbal et non verbal).

État de l'art

Dans le domaine du TALN, l'intégration de la personnalité dans les chatbots suscite un intérêt croissant. Les chatbots personnalisés visent à offrir des interactions plus engageantes et contextuellement adaptées en incarnant différents traits de personnalité. Le Big Five (« OCEAN », acronyme de ses cinq traits) est un cadre largement utilisé (Mount15). Cependant, les approches existantes basées sur OCEAN ne parviennent souvent pas à représenter correctement la complexité de la personnalité humaine.

Objectifs de la thèse

Objectif 1 : Génération de texte de patient virtuel tenant compte des connaissances. Nous exploiterons les travaux récents du LIA sur la création de modèles neuronaux de haute qualité adaptés aux données médicales (Labrak24, Labrak24b) afin de produire des données spécifiques aux scénarios envisagés lors d'un ECOS. Pour générer la réponse textuelle du patient virtuel, nous étudierons les invites à zéro et à quelques coups, l'apprentissage par transfert, le RAG (Lewis20), etc. afin d'adapter les LLM du domaine ouvert au contexte professionnel (Njifenjou24), en tenant compte des connaissances médicales et du vocabulaire de spécialité.

Objectif 2 : Génération de texte tenant compte du comportement social et de la personnalité. La réponse textuelle du patient virtuel doit avoir une personnalité capable de réagir de manière conforme à la fois à cette personnalité et au comportement social du médecin observé. La nouvelle approche de modélisation de la personnalité pour les chatbots proposée dans (Njifendjou25) sera étendue pour relever un nouveau défi concernant le degré de révélation de soi de l'agent. En effet, l'agent est censé jouer le rôle d'un patient (naïf) tout en possédant une compréhension approfondie des subtilités médicales de sa situation (nécessaire pour simuler les symptômes appropriés). Un contrôle accru de sa personnalité sous-jacente lors de la conversation devrait garantir une meilleure simulation lors de l'ECOS.
À la fin de la thèse, un modèle patient complet sera élaboré et évalué à partir des données d'ECOS précédemment collectées.
------------------------------------------------------------------------------------------------------------------------------------------------------------------------
------------------------------------------------------------------------------------------------------------------------------------------------------------------------

Motivations and context
Effective communication skills are crucial in healthcare professions for good information delivery and maintaining users' trust. Unfortunately, training opportunities for these skills are often limited by the need for human interviewees, increasing costs and reducing accessibility. Recent advances in natural language processing (NLP) make it feasible to create virtual multimodal agents that can simulate these interviews.
This PhD thesis focuses on training medical students for the objective-structured clinical examinations (OSCEs), an exercise where they act as a doctor interacting with a “standardized patient” played by a volunteer in the presence of an evaluator who assesses their clinical and communication skills. The OSCE counts for one third of the points of the national ranking exam. The UL Faculty of Medicine has pioneered the implementation of these OSCEs in France and aims to expand their access using AI technologies.
This thesis will address the AI research challenges behind creating a communication skills coaching system for OSCEs using multimodal conversational agents. New methodologies will be investigated to generate the virtual patient's textual response and to model the patient's personality capable of reacting in a way that aligns to the observed doctor's social behavior (verbal and non-verbal).
State of the art
Generic LLMs such as GPT-4 (OpenAI23), Gemini, Mistral, etc. have demonstrated exceptional performance across various NLP tasks. The adaptation of LLMs to specialized domains often involves fine-tuning LLMs on curated datasets rich in specialized languages, terminologies, etc. For the medical domain, several such models have been developed, ClinicalGPT (Wang23), BioMedGPT-LM-7B (Zhang24), etc.
In the field of NLP, the integration of personality into chatbots has garnered increasing attention. Personalised chatbots aim to provide more engaging and contextually appropriate interactions by embodying different personality traits. The Big Five ('OCEAN', an acronym of its five traits) stands out as a widely used framework (Mount15). However, existing OCEAN-based approaches often fail to adequately represent the complexity of human personality. Recently, LIA proposed a powerful model based on OCEAN (Njifendjou25) enabling greater versatility in modelling personality. The model evaluation demonstrated that the assigned personality vectors are distinguishable by both humans and acting-as-a-judge LLMs.
Thesis objectives
Objective 1: knowledge-aware virtual patient text generation. We will make use of LIA's recent work on the creation of high-quality neural models adapted to medical data (Labrak24, Labrak24b) to produce data specific to the scenarios envisaged during OSCE. To generate the virtual patient's textual response we will investigate zero- and few-shot prompting, transfer learning, RAG (Lewis20), etc. so as to adapt LLMs from open-domain to professional settings (Njifenjou24), accounting for medical knowledge and speciality vocabulary.
Objective 2 : social-behavior-aware text generation with personality. The virtual patient's textual response should have a personality capable of reacting in a way that conforms both to this personality and to the observed doctor's social behavior. The novel approach to personality modelling for chatbots proposed in (Njifendjou25) will be extended to address a novel challenge pertaining to the degree of self-disclosure exhibited by the agent. Indeed the agent is expected to assume the role of a (naive) patient while possessing a thorough understanding of the medical intricacies of its circumstances (required to simulate the right symptoms). An increased control of its underlying personality self-disclosure during the conversation should ensure a better simulation during OSCE.
At the end of the thesis, a complete patient model will be derived and evaluated on the previously collected OSCE data.
------------------------------------------------------------------------------------------------------------------------------------------------------------------------
------------------------------------------------------------------------------------------------------------------------------------------------------------------------

Début de la thèse : 01/10/

Funding category

Public funding alone (i.e. government, region, European, international organization research grant)

Funding further details

Concours pour un contrat doctoral