Dans le cadre d'un projet de refonte de pipeline de données et de modernisation des pratiques de Data Engineering, nous recherchons un Consultant Data Engineer expérimenté pour accompagner nos équipes métiers et techniques dans l’analyse, la modélisation et la mise en œuvre de solutions cloud natives performantes.
Responsabilités :
1. Analyser et cartographier les modèles de données actuels avec les experts métiers : flux inter-SI, règles de validation, filtrage et transformations existantes.
2. Assister les architectes dans la conception d’un nouveau pipeline de données exploitant les services cloud (AWS / Azure).
3. Accompagner l’équipe de développement sur l’implémentation technique : bonnes pratiques de Data Engineering, outillage (ETL Glue Spark), structuration des bases et traitements distribués.
4. Implémenter une culture agile autour de la donnée : cérémonies, itérations, coordination avec les équipes transverses.
5. Documenter les modèles de données, les règles de transformation et les flux interconnectés.
Profil recherché :
Expérience : Minimum 4 ans d’expériences.
Compétences techniques :
* Maitrise des outils de traitement de la donnée : Spark (Scala ou Python), ETL (Glue, Airflow), DataBricks.
* Expérience avec les bases de données relationnelles et fichiers distribués (Parquet, S3, RDS).
* Bonne connaissance des architectures cloud AWS et / ou Azure.
* Maitrise des outils DevOps : Git, Terraform.
* Capacité à documenter et maintenir un catalogue de données.
Informations supplémentaires :
* Expérience significative en Data Engineering sur des pipelines batch ou streaming.
* Pratique des services cloud orientés data : Glue, Airflow, OpenSearch, S3.
* Contexte multi-SI avec des changements entre plusieurs sources partenaires.
#J-18808-Ljbffr
En cliquant sur "JE DÉPOSE MON CV", vous acceptez nos CGU et déclarez avoir pris connaissance de la politique de protection des données du site jobijoba.com.