Je recherche pour un de mes client dans le monde le l'assurance un Data Engineer Databricks :
Les principales missions sont les suivantes :
? Faire évoluer les pipelines de données existantes dans l?environnement Databricks, en s?appuyant sur Unity Catalog pour assurer la traçabilité, la gouvernance et la sécurité des données
? Intégrer et structurer les données de gestion interne dans la plateforme, en assurant leur cohérence avec les besoins métiers (analyse d?impact).
? Réaliser des analyses exploratoires et des contrôles de cohérence, afin d?identifier les anomalies, de proposer une évolution de la brique existante et de fiabiliser les jeux de données.
? Optimiser les traitements du lot1 et les performances, tout en assurant une documentation technique rigoureuse et une collaboration étroite avec les équipes MOA et métiers.
Niveau d?expérience ? Expérience opérationnelle (? 7 ans) en data engineering ou data analyse
? Expérience confirmée en environnement cloud et CI/CD
Compétences clés
? Conception et optimisation de pipelines de données complexes dans Databricks
? Intégration de données métiers
? Mise en ?uvre de contrôles qualité, sécurité et anonymisation
? Analyse exploratoire, production d?indicateurs et visualisations
? Documentation technique, versioning et collaboration transverse
? Mise en place de processus CI/CD pour les workflows data
? Compétence appréciée :
Connaissance des bases client, notamment dans le cadre de l?exploitation de données du secteur assurance
Outils et pratiques maîtrisés
? Databricks, Spark (PySpark)
? Unity Catalog, SQL avancé
? Outils de visualisation : Power BI
? Jenkins pour l?automatisation des déploiements
? Pratiques CI/CD : tests automatisés, intégration continue, déploiement de pipelines
? Git / GitHub / GitLab
? Cloud : Azure (préféré)
Profil candidat:
Je recherche pour un de mes client dans le monde le l'assurance un Data Engineer Databricks :
Les principales missions sont les suivantes :
? Faire évoluer les pipelines de données existantes dans l?environnement Databricks, en s?appuyant sur Unity Catalog pour assurer la traçabilité, la gouvernance et la sécurité des données
? Intégrer et structurer les données de gestion interne dans la plateforme, en assurant leur cohérence avec les besoins métiers (analyse d?impact).
? Réaliser des analyses exploratoires et des contrôles de cohérence, afin d?identifier les anomalies, de proposer une évolution de la brique existante et de fiabiliser les jeux de données.
? Optimiser les traitements du lot1 et les performances, tout en assurant une documentation technique rigoureuse et une collaboration étroite avec les équipes MOA et métiers.
Niveau d?expérience ? Expérience opérationnelle (? 7 ans) en data engineering ou data analyse
? Expérience confirmée en environnement cloud et CI/CD
Compétences clés
? Conception et optimisation de pipelines de données complexes dans Databricks
? Intégration de données métiers
? Mise en ?uvre de contrôles qualité, sécurité et anonymisation
? Analyse exploratoire, production d?indicateurs et visualisations
? Documentation technique, versioning et collaboration transverse
? Mise en place de processus CI/CD pour les workflows data
? Compétence appréciée :
Connaissance des bases client, notamment dans le cadre de l?exploitation de données du secteur assurance
Outils et pratiques maîtrisés
? Databricks, Spark (PySpark)
? Unity Catalog, SQL avancé
? Outils de visualisation : Power BI
? Jenkins pour l?automatisation des déploiements
? Pratiques CI/CD : tests automatisés, intégration continue, déploiement de pipelines
? Git / GitHub / GitLab
? Cloud : Azure (préféré)
En cliquant sur "JE DÉPOSE MON CV", vous acceptez nos CGU et déclarez avoir pris connaissance de la politique de protection des données du site jobijoba.com.