Apprentissage profond pour l’étude de la perception de soi suite à l’application de maquillages en fonction de critères d’âge et d’ethnie.

Description

et objectifs

L’objet de cette thèse est de mesurer, de façon objective, l’impact de certains produits et de certaines routines de maquillage sur les bénéfices émotionnels tels que la confiance en soi.

Cette thèse se fait en partenariat avec l’équipe AIMAC (Artificial Intelligence for Multimodal Affective Computing) de CentraleSupelec, spécialisée dans l’analyse des comportements humains, notamment émotionnels, à partir d’outil d’apprentissage profond. Deux axes principaux caractérisent les travaux de recherche de l’équipe : l’analyse multimodale d’émotions à partir de video (visage et voix) ; et la création de représentation mentales de visages émotionnels à partir de reverse corrélation numérique intelligente.

L’apport de technologies drivées par des outils d’apprentissage profond et d’intelligence artificielle va permettre de mesurer rigoureusement et objectivement l’amélioration de la confiance en soi lors de l’application de certains produits ou de certaines routines. Les études pourront se faire en fonction de plusieurs critères incluant l’âge, la culture, l’ange de perception (perception de soi, perception de l’autre), l’étape de la routine de maquillage, ou encore les produits utilisés.

Pour atteindre ces objectifs, le doctorant devra concevoir des systèmes de computer vision et de computer graphics en s’appuyant des modèles d’IA récents (VAE [4a,4b] ou Dynamic VAE [4c], modèle d’attention [4d],…). Ces outils permettront de réaliser plusieurs acquisitions et tests au sein d’un panel de sujets d’âge et de culture différente. Il s’agira plus précisément de déterminer la représentation mentale associée à la confiance en soi, en faisant varier les types de maquillage. Pour cela, il s’agira de :

Créer un outil de génération synthétique de maquillages spécifiques à partir d’une photo [5a, 5b, 5c]

Créer un outil de création d’image mentale [6a, 6b, 6c]

Etudier des images mentales en fonction de certains critères (perception de soi, perception de l’autre, âge, culture) [7a]

Les différentes études des images mentales se feront de façon incrémentale, en commençant par la comparaison de la perception de soi, de la perception par les autres et de la perception par les proches, pour différentes classes d’âge sur un panel caucasien.

Sur le premier point, afin d’avoir un modèle efficace, de nombreuses données sont nécessaires. Il s’agira donc d’étudier comment utiliser des BDD publiques massives et des données standardisées plus restreintes pour générer des images standardisées de Clarins. Le doctorant aura aussi à participer à l’acquisition terrain de ces données standardisées.

Sur le second point, afin de réduire le temps d’acquisition des images mentales, l’objet de l’étude consistera à travailler sur l’optimisation de l’outil de création d’images mentales (algo génétiques, recuit simulé, réseaux de neurones, etc...).

Sur le point 3, il s’agira de mener l’étude de bout en bout avec la spécification des protocoles expérimentaux, les expérimentations à proprement parler et l’analyse scientifique des résultats.

La publication dans des conférences et journaux de haut rangs est visée (tels que PAMI, TAC,

CVIU, PRL pour les journaux ou CVPR, ICCV, ECCV, FG, pour les conférences). Des publications

dans le domaine de la cosmétique seront

aussi envisagées.

References

[1] Fischer, A., et al.. "Makeup and emotional perception: A review of the literature." Psychology of Aesthetics, Creativity, and the Arts, 17, -.

[2] Cash, K. A., et al.. "The role of makeup in the perception of attractiveness: A cross-cultural study."

[3] Baker, S., & Smith, J.. "The impact of cosmetics on perceived attractiveness: A meta-analysis." Journal of Social Psychology,, -.

[4a] Kingma, D. P., & Welling, M.. Auto-encoding variational Bayes. International Conference on Learning Representation (ICLR).

[4b] Rezende, D. J., Mohamed, S., & Wierstra, D.. Stochastic backpropagation and approximate inference in deep generative models. International Conference on Machine Learning (ICML),

[4c] Girin, L., Leglaive, S., Bie, X., Diard, J., Hueber, T., & Alameda-Pineda, X.. Dynamical variational autoencoders: A comprehensive review., Found Trends Mach Learn, ,

[4d] Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A. N., ... & Polosukhin, I.. Attention is all you need. Advances in neural information processing systems, 30.

[5a] Liu, M., Wei, Y., Wu, X., Zuo, W., & Zhang, L.. Survey on leveraging pre-trained generative adversarial networks for image editing and restoration. Science China Information Sciences, 66,.

[5b] Karras, T., Laine, S., Aittala, M., Hellsten, J., Lehtinen, J., & Aila, T.. Analyzing and improving the image quality of stylegan. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition (pp. -).

[5c] Zhu, J., Shen, Y., Xu, Y., Zhao, D., & Chen, Q.. Region-based semantic factorization in GANs. arXiv preprint arXiv:..

[6a] Murray RF. Classification images: A review. Journal of vision. ;11:2–2. pmid:

[6b] Brinkman L, Todorov A, Dotsch R. Visualising mental representations: A primer on noise-based reverse correlation in social psychology. European Review of Social Psychology. ;28:–.

[6c] Yan, S., Soladie, C., & Seguier, R. (, January). Exploring mental prototypes by an efficient interdisciplinary approach: Interactive microbial genetic algorithm. In IEEE 17th International Conference on Automatic Face and Gesture Recognition (FG) (pp. 1-8). IEEE

[7a] Yan, S., Soladié, C., Aucouturier, J. J., & Seguier, R.. Combining GAN with reverse correlation to construct personalized facial expressions. Plos one, 18, e.

Starting date

-10-01

Funding category

Public/private mixed funding

Funding further details