Contexte
Dans le cadre du chantier Knowledge Management (KM), une base de connaissance doit être constituée à partir de documents non structurés (PDF, Word, HTML). Cette base servira à formaliser la connaissance sous une forme agnostique des usages, en vue d'une réutilisation large et durable. Un pipeline initiale de structuration des connaissances a été établi, mais doit maintenant être industrialisé pour une exécution fiable, scalable et maintenable.
Objectif de la mission
Development des pipelines d'ingestion, transformation et alimentation de la base de connaissance, tout en assurant le versioning et la traçabilité des traitements.
Profil candidat:
Activités principales
Modélisation l'architecture technique des pipelines (ingestion à stockage)
Développement des flux ETL modulaires (OCR, transformation, enrichissement)
Standardisation du format pivot et les conventions de métadonnées
Suivi de l'historisation, le versioning et la traçabilité des documents traités
Implémentation d'un orchestrateur (Airflow, Dagster, Prefect) si nécessaire
Suivi de la robustesse du traitement sur des volumes variés
Collaboration avec les équipes KM et Data Science pour alignement
Documentation de l'ensemble des flux de traitement
En cliquant sur "JE DÉPOSE MON CV", vous acceptez nos CGU et déclarez avoir pris connaissance de la politique de protection des données du site jobijoba.com.