Data engineer / dataops (h/f) (it)

Contexte de la missionDans le cadre de la refonte complète d?un Data Lake stratégique, nous recherchons un profil Data Engineer orienté DataOps / MLOps afin d?accompagner la mise en place d?une plateforme data moderne, scalable et gouvernée.

Le projet repose sur une architecture Medallion (Bronze / Silver / Gold) et intègre plusieurs technologies modernes liées à l?ingestion, la transformation, l?orchestration et la gouvernance des données.

Le consultant interviendra à la fois sur les aspects Data Engineering, industrialisation, CI/CD, déploiement de pipelines et automatisation des workflows data.

Missions principalesAnalyse de l?existant & MigrationCartographier les sources de données, pipelines et flux existants


Participer à la définition de la stratégie de migration vers le nouveau Data Lake


Concevoir les plans de bascule tout en minimisant les impacts de production



Architecture & IngestionConcevoir les couches Bronze / Silver / Gold du Data Lake


Développer les pipelines d?ingestion batch et near real-time


Participer à l?optimisation des flux de données et des performances



Transformation & ModélisationDévelopper les modèles de transformation avec dbt


Mettre en place les tests automatisés et la documentation technique


Harmoniser les schémas et standards de données



DataOps / DevOpsMettre en ?uvre les pipelines CI/CD pour les traitements data


Industrialiser les déploiements et automatiser les workflows


Participer à la supervision, au monitoring et à l?observabilité des pipelines


Collaborer avec les équipes DevOps et Infrastructure



Orchestration & GouvernanceDéployer et maintenir les workflows avec Argo Workflows


Participer à la gouvernance des métadonnées et de la qualité des données


Contribuer à l?amélioration continue des pratiques DataOps



Compétences recherchéesCompétences techniques impérativesData Engineering


SQL avancé


dbt


CI/CD & automatisation


Déploiement de pipelines data


Bonne culture DevOps / DataOps



TechnologiesTrinoDB


Apache Iceberg


Parquet


Argo Workflows


Apache Superset


Metabase


OpenMetadata



Compétences appréciéesKubernetes


Docker


GitLab CI/CD ou Jenkins


Python


Environnements Cloud & orchestration data





Profil candidat:
Profil recherchéData Engineer avec forte orientation DataOps / MLOps


Expérience sur des plateformes Data modernes


Bonne compréhension des problématiques d?industrialisation et d?automatisation


Sensibilité aux enjeux de performance, gouvernance et observabilité



Soft skillsAutonomie


Esprit analytique


Capacité à travailler en environnement transverse


Force de proposition


Bon relationnel technique



Data Engineer / DataOps ? Projet stratégique Data LakeNous recherchons un Data Engineer orienté DataOps / MLOps pour intervenir sur la refonte complète d?un Data Lake moderne basé sur une architecture Medallion.

Vous participerez à la mise en place de pipelines data industrialisés, à l?automatisation des déploiements CI/CD ainsi qu?à l?orchestration des workflows dans un environnement technique innovant.

Stack :TrinoDB ? Apache Iceberg ? dbt ? Argo Workflows ? Parquet ? Superset ? OpenMetadata ? CI/CD ? DataOps

? Profil recherché :

Solide expérience Data Engineering


Forte culture DevOps / DataOps


Expérience sur l?industrialisation et le déploiement de pipelines data


Bonne maîtrise des environnements modernes de Data Lake



Mission longue durée ? Démarrage ASAP.