Le poste
Vous intervenez sur la conception, le développement et l’industrialisation de pipelines de données au sein d’un environnement Databricks / Spark.
Votre rôle : garantir un traitement de données performant, fiable et scalable, du développement jusqu’à la mise en production.
Vos missions
Conception & Architecture
* Participer à la conception des pipelines de données batch et streaming
* Rédiger les spécifications techniques
* Modéliser les flux et transformations de données
* Définir les standards et bonnes pratiques Data Engineering
Développement & Performance
* Développer des pipelines de données en PySpark
* Réaliser les inférences de modèles via Spark MLFlow
* Manipuler et transformer des volumes de données importants
* Optimiser les performances (Spark tuning, partitionnement, volumétrie)
Qualité & Tests
* Développer les tests unitaires
* Mettre en place les tests d’intégration et validations end-to-end
Déploiement & Exploitation
* Déployer les pipelines sur les environnements Databricks (dev, uat, prod)
* Gérer les releases et la promotion de code
* Assurer le monitoring et le suivi des exécutions
* Analyser et corriger les incidents
CI/CD & Industrialisation
* Contribuer à l’évolution des pipelines CI/CD
* Automatiser les processus de build, test et déploiement
* Participer à la mise en œuvre des bonnes pratiques DevOps
Collaboration & Gouvernance
* Réaliser des code reviews
* Accompagner techniquement les membres de l’équipe
* Participer aux rituels Agile
* Collaborer avec les équipes métier et techniques
Profil recherché
* Expérience confirmée en Data Engineering
* Maîtrise de Databricks, PySpark et Spark
* Bonne connaissance des architectures data batch et streaming
* Expérience sur les sujets CI/CD et industrialisation
* Bonne culture DevOps et qualité logicielle
* Capacité à intervenir sur des problématiques de performance et volumétrie
* Expérience sur des environnements cloud/data modernes appréciée
Environnement technique
* Databricks
* PySpark / Spark
* MLFlow
* CI/CD
* Pipelines batch & streaming
* Méthodologies Agile
Informations
* Localisation : Grenoble
* Type de contrat : CDI
* Démarrage : ASAP
* Rémunération : selon profil
Dans le cadre du développement d’une plateforme de maintenance prédictive, nous recherchons un Senior Data Engineer pour intervenir sur des enjeux forts de scalabilité, fiabilité et industrialisation de la donnée.
La plateforme exploite les données issues de capteurs afin d’anticiper les pannes critiques d’équipements utilisés dans des environnements sensibles.
En cliquant sur "JE DÉPOSE MON CV", vous acceptez nos CGU et déclarez avoir pris connaissance de la politique de protection des données du site jobijoba.com.