Description du poste
Contexte de la mission
Dans le cadre de l’évolution de sa plateforme DATA, notre client recherche un(e) Data Engineer confirmé(e) pour renforcer son équipe technique DATA.
L’environnement DATA est actuellement en pleine transformation avec une migration d’une architecture on-premise basée sur Cloudera/Hadoop vers Snowflake. Les traitements concernent des données variées : audience web/mobile, marketing digital, données clients, contenus éditoriaux ou encore logistique.
La mission s’inscrit dans une démarche long terme afin de renforcer durablement l’équipe DATA technique.
Vos missions
Au sein d’une équipe DATA expérimentée et collaborative, vous interviendrez notamment sur :
* Le développement de flux d’ingestion et de transformation de données
* La migration de traitements Cloudera / Hive / Hadoop vers Snowflake
* Le développement de traitements en Python, SQL et éventuellement PySpark
* L’intégration de données issues de multiples sources :
o API
o Kafka
o RabbitMQ
o Fichiers plats
o Bases de données relationnelles
* Le suivi de production et la résolution d’incidents
* La relecture de code et les contributions via Git
* La rédaction de documentation technique et de procédures d’exploitation
Livrables attendus
* Développements Python / SQL / PySpark industrialisés
* Flux d’ingestion et de transformation fiables et maintenables
* Migration de traitements vers Snowflake
* Contrôles de qualité et de cohérence des données
* Correctifs d’incidents de production
* Documentation technique complète
* Code versionné et intégré via Git
Environnement technique
Compétences indispensables
* Python
* SQL
* ETL / ELT
* Git
* Analyse et correction d’incidents de production
* Expérience Data Engineering
Compétences appréciées
* Snowflake ou BigQuery
* PySpark / Spark
* Hive / Hadoop / Cloudera
* Kafka / RabbitMQ
* GitLab CI
* Kubernetes
Profil recherché
Profil recherché
* Data Engineer confirmé(e) (2 à 5 ans d’expérience)
* Autonome et rigoureux(se)
* Capable d’interagir avec des interlocuteurs techniques et métiers
* À l’aise dans un environnement DATA exigeant et en transformation
* Bon esprit d’équipe et capacité à contribuer dans un contexte collaboratif
En cliquant sur "JE DÉPOSE MON CV", vous acceptez nos CGU et déclarez avoir pris connaissance de la politique de protection des données du site jobijoba.com.