Le rôle du Data Engineer dans ce projet consistera à : - Concevoir et implémenter les composants/pipelines d'ingestion de données en scala spark (glue jobs, sans utilisation de solutions managées type Databricks) - Traiter et normaliser les données - Refactoriser des imports existants pour être compliant avec l'architecture medaillon (silver gold layers) et notre modèle uniformisé/harmonisé à toutes les plateformes (aggrégateurs, market exchanges) - Appliquer/challenger les règles métier pour générer la couche gold tout en garantissant les performances, la scalabilité et les coûts cloud - Distribuer les données aux différents consommateurs/Métiers - Implémenter les règles de Data Quality (DataQuality framework : great expectation) et gérer le data calatog - Développer et améliorer les frameworks communs (monitoring, CI/CD, tests, performance, résilience, standards de développement, qualité du code) - Rédiger et maintenir la documentation technique des développements réalisés : schéma d'architecture, Infra, Flux, - Garantir le respect des standards du Groupe en matière de qualité, sécurité, partage, usage et architecture des données - Participer au développement et à la maintenance du calculateur en Scala Spark avec l'objectif : - d'optimiser le temps de calculs, - d'optimiser les performances, - de garantir la scalabilité au regard d'un accroissement annuel important du volume des market operations, - de maîtriser et d'optimiser les coûts cloud. - Être force de proposition pour améliorer les processus et les performances des systèmes.
En cliquant sur "JE DÉPOSE MON CV", vous acceptez nos CGU et déclarez avoir pris connaissance de la politique de protection des données du site jobijoba.com.