Application du few shot learning pour la détection de pigments dans les oevres d'art // few shot learning methods for pigment detection in cultural heritage

Topic description

Dans le cadre de la conservation des peintures ou des photographies anciennes, la connaissance des pigments utilisés lors de la création de l'œuvre est primordiale pour déterminer comment ceux-ci vieillissent et comment restaurer les œuvres. Afin de caractériser au mieux les différents pigments utilisés à travers les âges, la méthode utilisée actuellement s'appuie sur plusieurs techniques dont de la spectrophotométrie de réflectance qui va de l'Ultra Violet à l'Infra-Rouge, de la spectrométrie Raman, la spectrométrie XRF de fluorescence sous rayons X qui permettent de caractériser le spectre des pigments. Les méthodes sans contact et sans prélèvement qui assurent une réponse rapide sont la XRF qui offre la possibilité d'obtenir une cartographie des éléments chimiques non organiques, comme le chrome (Cr), le plomb (Pb), le fer (Fe), et bien d'autres et l'imagerie hyperspectrale qui enregistre la réponse optique des matériaux à la lumière. En effet, la conjonction des informations hyperspectrales et XRF permettent de mieux orienter la détection des pigments puisque ces deux informations sont complémentaires. Chaque technique ayant ses incertitudes, leur conjonction permet d'orienter vers les matériaux en présence.
Plusieurs bases de données d'images des pigments sont mises à disposition, cependant ces diverses bases ont peu de données, souvent des images reconstruites moins informatives que l'ensemble du spectre et surtout peu de données labellisées. De plus, les données labellisées le sont en général sur un seul pigment et pas sur des mélanges. Or ce sont ces mélanges que l'on retrouve le plus fréquemment dans les oeuvres d'art.
La question qui se pose alors est comment retrouver ces pigments dans les œuvres d'art existantes et comment utiliser cette information pour en mesurer le comportement dans le temps. En effet, trouver les pigments utilisés permet d'une part que les restaurateurs respectent la législation en ne mettant pas les mêmes pigments, et d'autre part de définir des corpus qui serviront ensuite à authentifier des œuvres inconnues.
Méthodologiquement, il s'agit d'un problème de segmentation multi-classes et/ou de détection des pigments en chaque pixel de l'image. La détection peut être abordée par des techniques d'apprentissage automatique semi-supervisé, ou non supervisé si on ne connaît pas les spectres des pigments avec potentiellement des déséquilibres entre les classes puisque, selon les artistes, certains pigments peuvent être utilisés plus rarement que d'autres. Par ailleurs, dans le domaine du patrimoine, les bases de données étant petites, l'apprentissage correspond à du few shot learning.
L'objectif de cette thèse est d'étudier et de développer des méthodes d'apprentissage automatique semi-supervisé ou non-supervisé pour la détection de pigments dans les œuvres d'art.
Dans un premier temps, le travail se focalisera sur les technologies XRF et hyperspectrale. Ces données sont très bruitées avec un bruit s'apparentant à
du speckle difficile à filtrer.
Nous proposons alors de nous appuyer sur des approches semi-supervisées où seulement un petit nombre de pixels non ambigus sont étiquetés en amont. L'étiquetage des autres pixels des images du dataset d'entraînement se fait alors en affectant des pseudo-labels estimés par prédiction.
L'évaluation des méthodes sera faite d'une part par l'étude classique des performances mais aussi par leur robustesse par rapport à la taille des bases de données et aux caractéristiques du bruit.
------------------------------------------------------------------------------------------------------------------------------------------------------------------------
------------------------------------------------------------------------------------------------------------------------------------------------------------------------

When conserving old paintings or photographs, knowledge of the pigments used in the creation of the work is essential in order to determine how they age and how to restore the works. In order to best characterize the different pigments used throughout the ages, the method currently used relies on several techniques, including reflectance spectrophotometry ranging from ultraviolet to infrared, Raman spectrometry or XRF imaging which allow to characterize pigments spectra. Non-destructive methods that provide rapid results include XRF, which allows for mapping of inorganic chemical elements such as chromium (Cr), lead (Pb), iron (Fe), and many others, and hyperspectral imaging, which records the optical response of materials to light. Indeed, combining hyperspectral and XRF information allows for more precise pigment detection, as these two methods are complementary. Since each technique has its own uncertainties, their combination helps to identify the materials present.
Several pigment image databases are available; however, these databases contain limited data, often reconstructed images that are less informative than the entire spectrum, and, more important few labeled data. Furthermore, the labeled data generally applies to a single pigment and not to mixtures. Yet, it is these mixtures that are most frequently found in cultural heritage.
The question then arising is how can these pigments be identified in existing pieces of art, and how can this information be used to measure their behavior over time? Indeed, identifying the pigments used allows conservators not to use the same pigments, and also enables the creation of reference collections that can then be used to authenticate unknown works.
This problem can be seen as a multi-class segmentation problem and/or pigment detection in each pixel of the image. Detection can be approached using semi-supervised machine learning techniques, or unsupervised if the pigment spectra are unknown, with obvious imbalances between classes since, depending on the artist. Furthermore, in the field of cultural heritage, where databases are small, the learning process is essentially based on few shot learning.
The objective of this thesis is to study and develop semi-supervised and unsupervised machine learning methods for pigment detection in cultural heritage. At the first stage the work will focus on XRF and hyperspectral technologies. These data are very noisy, with speckle noise, difficult to filter.
We therefore propose to rely on semi-supervised approaches where only a small number of unambiguous pixels are labeled beforehand. The labeling of the remaining pixels in the training dataset is then performed by assigning pseudo-labels estimated through prediction.
The evaluation of the methods will be carried out both through the classical study of performance and through their robustness with respect to the size of the databases and the characteristics of the noise.
------------------------------------------------------------------------------------------------------------------------------------------------------------------------
------------------------------------------------------------------------------------------------------------------------------------------------------------------------

Début de la thèse : 01/10/

Funding category

Funding further details

Contrats ED : Programme blanc GS-ISN