En tant que Data Engineer Senior, vous jouerez un rôle clé dans la construction, l'optimisation et la fiabilisation de nos pipelines de données à grande échelle, au coeur de notre plateforme analytique. Votre expertise sur Databricks et l'environnement Spark sera essentielle pour garantir des traitements performants, sécurisés et scalables.
Vos responsabilités incluent :
- Concevoir, développer et maintenir des pipelines de données sur Databricks (Spark/Delta Lake).
- Optimiser les performances de traitement et garantir la qualité des données (cleaning, validation, partitioning).
- Participer à l'architecture de la data platform (modularité, sécurité, gestion des coûts).
- Travailler en étroite collaboration avec les équipes Data Science, BI, et Produit pour alimenter les cas d'usage.
- Implémenter les bonnes pratiques de versioning, CI/CD et tests sur les pipelines (Git, dbx, Unity Catalog).
- Assurer le monitoring, l'observabilité et la documentation des traitements.
- Être force de proposition sur les choix technologiques et accompagner les profils plus juniors.
En cliquant sur "JE DÉPOSE MON CV", vous acceptez nos CGU et déclarez avoir pris connaissance de la politique de protection des données du site jobijoba.com.