RESPONSABILITÉS :
Contexte
Dans le cadre de l'évolution d'une plateforme data à forte volumétrie, nous recherchons plusieurs Data Engineers seniors pour renforcer une équipe en charge de la conception et de l'industrialisation des flux de données.
Vous interviendrez dans un environnement moderne orienté Lakehouse, avec Databricks au cœur des traitements.
Missions principales
Intégré à une équipe data transverse, vous participerez à la mise en place de pipelines robustes, scalables et industrialisés :
• Concevoir et développer des pipelines de données en PySpark, en batch et potentiellement en streaming
• Structurer et optimiser des traitements complexes sur des volumes de données importants
• Mettre en place des mécanismes d'ingestion fiables depuis des sources multiples (API, fichiers, bases de données)
• Garantir la résilience des pipelines (gestion des erreurs, reprise sur incident, supervision)
• Déployer des contrôles qualité afin d'assurer la fiabilité et la fraîcheur des données
• Contribuer à la documentation des flux et à la mise en place de standards de développement
• Participer activement à l'amélioration continue de la plateforme et des pratiques data
Compétences techniques
• Très bonne maîtrise de Databricks (gestion des clusters, jobs, notebooks, Delta Lake)
• Excellente maîtrise de Python et PySpark
• Expérience confirmée en Data Engineering sur des architectures distribuées
• Bonne compréhension des modèles Data Lake et Lakehouse
• Solides compétences en optimisation de performances sur Spark
• Expérience avec des outils d'orchestration (Airflow, Data Factory ou équivalent)
• Sensibilité aux problématiques de gouvernance et de qualité des données
• Expérience dans l'exposition de données à destination d'outils BI (notamment Power BI)
PROFIL RECHERCHÉ :
Profil recherché
• Data Engineer senior avec une expertise avérée sur Databricks
• Expérience sur des projets data à forte volumétrie
• Capacité à concevoir des pipelines fiables, performants et industrialisés
• Bonne maîtrise des environnements cloud, idéalement Azure
• Approche rigoureuse sur les sujets de qualité, performance et gouvernance
• Aisance dans un environnement collaboratif avec des équipes Data Science et BI
• Poste en full remote
En cliquant sur "JE DÉPOSE MON CV", vous acceptez nos CGU et déclarez avoir pris connaissance de la politique de protection des données du site jobijoba.com.