Description du poste
Dans le cadre d’un projet de refonte de pipeline de données et de modernisation des pratiques de Data Engineering, nous recherchons un Consultant Data Engineer expérimenté pour accompagner nos équipes métiers et techniques dans l’analyse, la modélisation et la mise en œuvre de solutions cloud natives performantes.
Mission :
* Analyser et cartographier les modèles de données actuels avec les experts métiers : flux inter-SI, règles de validation, filtrage et transformations existantes.
* Assister les architectes dans la conception d’un nouveau pipeline de données exploitant les services cloud (AWS / Azure).
* Accompagner l’équipe de développement sur l’implémentation technique : bonnes pratiques de Data Engineering, outillage (ETL, Glue, Spark), structuration des bases et traitements distribués.
* Implémenter une culture agile autour de la donnée : cérémonies, itérations, coordination avec les équipes transverses.
* Documenter les modèles de données, les règles de transformation et les flux interconnectés.
Qualifications
* Profil expérimenté 4 ans d'expériences minimum.
* Maîtrise des outils de traitement de la donnée : Spark (Scala ou Python), ETL (Glue, Airflow), DataBricks.
* Expérience avec les bases de données relationnelles et fichiers distribués (Parquet, S3, RDS).
* Bonne connaissance des architectures cloud AWS et/ou Azure.
* Maîtrise des outils DevOps : Git, Terraform.
* Capacité à documenter et maintenir un catalogue de données.
Informations supplémentaires
* Expériences significatives en Data Engineering sur des pipelines batch ou streaming.
* Pratique des services cloud orientés data : Glue, Airflow, OpenSearch, S3.
* Contexte multi-SI avec échanges entre plusieurs sources partenaires
En cliquant sur "JE DÉPOSE MON CV", vous acceptez nos CGU et déclarez avoir pris connaissance de la politique de protection des données du site jobijoba.com.