Vous maîtrisez le métier d'ingénieur données chez Databricks (sur AWS).
Vos responsabilités seront les suivantes :
* Concevoir, développer et maintenir des pipelines de données évolutifs sur la plateforme Databricks.
* Gérer les processus d'ingestion de données provenant de diverses sources dans l'environnement Databricks (ingestion XML, Kakfa, etc.).
* Mettre en œuvre et optimiser les processus ETL (Extraction, Transformation, Chargement) afin de garantir une transformation et une intégration efficaces des données.
* Garantir la qualité, l'intégrité et la sécurité des données sur l'ensemble des pipelines.
* Surveiller et résoudre les problèmes de performance des pipelines de données, en mettant en œuvre les maintenances et mises à jour nécessaires.
* Documenter les processus, les spécifications techniques et les bonnes pratiques des pipelines de données.
* Assurer le transfert de connaissances vers l'équipe d'ingénieurs données qui prendra en charge la gestion de la plateforme à l'avenir.
Parler couramment l'anglais/néerlandais ou l'anglais/français est un impératif.
Profil candidat:
Nous recherchons un ingénieur data Databricks expérimenté pour rejoindre notre équipe projet et mettre en œuvre notre plateforme Databricks sur AWS. Vous travaillerez sous la supervision d'un chef de projet et d'un responsable technique / architecte de données.
Vos responsabilités seront les suivantes :
* Concevoir, développer et maintenir des pipelines de données évolutifs sur la plateforme Databricks
* Gérer les processus d'ingestion de données provenant de diverses sources dans l'environnement Databricks (ingestion XML, Kakfa, etc.)
* Mettre en œuvre et optimiser les processus ETL (Extraction, Transformation, Chargement) pour garantir une transformation et une intégration efficaces des données.
* Garantir la qualité, l'intégrité et la sécurité des données sur tous les pipelines.
* Surveiller et corriger les performances du pipeline de données, en mettant en œuvre les maintenances et mises à jour nécessaires.
* Documenter les processus du pipeline de données, les spécifications techniques et les bonnes pratiques.
* Assurer le transfert de connaissances vers l'équipe d'ingénieurs données, qui sera chargée de l'exploitation future de la plateforme.
Paris, Île-de-France, France 10 hours ago
Paris, Île-de-France, France 11 hours ago
Vélizy-Villacoublay, Île-de-France, France 1 week ago
#J-18808-Ljbffr
En cliquant sur "JE DÉPOSE MON CV", vous acceptez nos CGU et déclarez avoir pris connaissance de la politique de protection des données du site jobijoba.com.