Modèles d'apprentissage frugal pour l'analyse d'images de smartphones acquises en conditions de production agricole: cas du suivi de l'état hydrique de la vigne par la méthode des apex // frugal learning models for the analysis of smartphone images acqui

Topic description

Les outils d'aide à la décision en agriculture doivent être simples et capables de s'adapter aux spécificités locales de culture. Pour répondre à ces exigences, il est nécessaire de coupler des modèles puissants à des capteurs frugaux et déployables sur le terrain. Dans ce contexte, la prise d'images par smartphone apparaît comme une solution pertinente pour la collecte et la spatialisation d'observations au champ. Des applications comme Pl@ntNet [1] ou VitiCanopy [2] ont démontré l'intérêt de la caméra des smartphones pour mesurer rapidement des caractéristiques morphologiques des plantes et des couverts végétaux. Ces images sont généralement analysées grâce à des méthodes d'apprentissage profond, qui ont montré leur efficacité pour un large éventail de tâches en agriculture. Les principales applications sont la détection et la segmentation d'adventices [3], l'estimation de traits phénotypiques [4], la détection de maladies foliaires [5] et la caractérisation de stress hydriques [6,7]. Ces approches supervisées, nécessitent de gros volumes d'images labellisées pour la phase d'apprentissage [8,9,10] et reposent souvent sur des conditions d'acquisition simplifiées, avec fond neutre, cadrage strict et organe isolé [11,12]. Les images acquises en contexte de production agricole présentent souvent des caractéristiques défavorables: scènes complexes (occlusions, chevauchements de feuillage, arrière-plans parasites), conditions d'acquisition variables, information d'intérêt diluée au sein de l'image, grande variabilité des conditions agronomiques. Ces contraintes freinent l'adaptation des méthodes d'apprentissage profond classiques pour les outils d'aide à la décision. L'essor des architectures transformers [13], des modèles de fondation entraînés sur de vastes corpus de données hétérogènes [14], les paradigmes d'apprentissage auto-supervisé ou few-shot [15], ouvre des perspectives pour transférer des méthodes génériques performantes vers ces contextes agricoles complexes. Ces approches éprouvées dans de nombreuses applications en vision [16-18], permettent de réduire la dépendance aux données annotées et d'améliorer la généralisation, rendant possible un apprentissage frugal à partir de bases de données hétérogènes et partiellement annotées. Ces nouvelles méthodes sont encore peu maitrisées dans la communauté de l'agriculture numérique. Cette thèse propose d'explorer les potentialités de ces nouvelles approches d'apprentissage profond pour développer des outils d'aide à la décision basés sur de l'analyse d'images de smartphone acquises en condition de production. Elle repose sur le projet Apex-Vigne, qui propose une application mobile pour le suivi de l'état hydrique de la vigne à partir d'observations sur la croissance végétative [19]. Elle repose sur la classification visuelle par un opérateur de 50 apex en 3 catégories de croissance et sur le calcul d'un indicateur simple (iC-Apex) qui peut être relié à l'état hydrique de la vigne. Plus de 46 observations ont été collectées depuis. Cette collecte participative au vignoble constitue un socle expérimental pour tester des stratégies d'apprentissage frugal sur des données réelles hétérogènes, partiellement annotées. Dans ce cadre, la thèse propose deux approches d'analyse d'images complémentaires. Une première approche mimétique dans laquelle les méthodes d'apprentissage profond développées tenteront de reproduire l'expertise humaine en segmentant et en classant chaque apex présent sur une image. Une seconde approche agnostique dans laquelle les méthodes développées traiteront les images globalement pour prédire l'indice iC-Apex sans a-priori sur les objets d'intérêt à détecter dans l'image. Cette seconde approche devrait permettre de s'affranchir des contraintes qui ont été initialement imposées par les limites de l'observation visuelle et pourrait permettre d'identifier de nouveaux signaux visuels de la contrainte hydrique.
------------------------------------------------------------------------------------------------------------------------------------------------------------------------
------------------------------------------------------------------------------------------------------------------------------------------------------------------------

Decision-support tools in agriculture must be simple and capable of adapting to local cropping specificities. To meet these requirements, powerful analytical models must be coupled with frugal sensors that can be deployed in the field. In this context, smartphone image acquisition appears to be a particularly relevant solution for collecting and spatializing field observations. Applications such as Pl@ntNet [1] and VitiCanopy [2] have demonstrated the value of smartphone cameras to measure morphological characteristics of plants and vegetation canopies. These images are generally analyzed using deep learning, which proved effective across a wide range of agricultural tasks. Major applications include weed detection and segmentation [3], phenotypic trait estimation [4], foliar disease detection [5], and water stress characterization [6,7]. These supervised approaches, require large volumes of labeled images for training [8–10], and often rely on simplified acquisition conditions, with neutral backgrounds, strict framing, and isolated plant organs [11,12]. However, images acquired under agricultural production conditions often display characteristics that hinder analysis: complex scenes (occlusions, overlapping foliage, distracting backgrounds), variable acquisition conditions, dilution of the relevant information within the image, and high variability in agronomic conditions. These constraints limit the adaptation of conventional deep learning methods ion into decision-support tools. Nevertheless, the recent rise of transformer-based architectures [13], foundation models trained on large heterogeneous datasets [14], and self-supervised or few-shot learning paradigms [15] opens new perspectives for transferring high-performing generic methods to complex agricultural contexts at lower computational cost. These approaches, already validated in numerous industrial and general computer vision applications [16–18], reduce dependence on annotated data and improve model generalization capacity, making frugal learning strategies capable of extracting meaningful information from heterogeneous and partially annotated datasets. Although increasingly highlighted in the state of the art, these methods remain poorly known and insufficiently mastered within the digital agriculture community. This PhD project therefore aims to explore the potential of these new deep learning approaches to develop operational decision-support tools based on the analysis of smartphone images acquired under real production conditions. The research builds on an established application case, the Apex-Vigne project, which provides a mobile application for monitoring vine water status based on visual observations of vegetative growth [19]. The current protocol relies on the visual classification, by an operator, of 50 apexes (i.e., shoot tips) into three vegetative growth categories, followed by the calculation of a simple indicator (iC-Apex) that can be related to water status. Since, more than 46, observations were collected. Crow-sourcing framework constitutes a unique experimental platform for testing frugal learning strategies under real conditions, on heterogeneous and partially annotated data. Within this context, the thesis aims to move beyond a simple transposition of existing protocols by proposing two complementary image analysis approaches. The first, a mimetic approach, will attempt to reproduce human expertise: the developed deep learning models will segment and classify each apex present in an image, mirroring the current field protocol. The second, an agnostic approach, will process images globally to directly predict the iC-Apex index, without any a priori assumptions regarding the objects of interest to be detected in the image. This second strategy should make it possible to overcome constraints initially imposed by the limits of visual observation and may help identify new visual signals associated with water stress.
------------------------------------------------------------------------------------------------------------------------------------------------------------------------
------------------------------------------------------------------------------------------------------------------------------------------------------------------------

Début de la thèse : 01/10/
WEB :

Funding category

Funding further details

Concours GAIA