Data engineer h/f (it)

Contexte du poste :




Nous recherchons un Data Engineer afin d?intégrer l?équipe DATA technique de notre client, acteur majeur du secteur des médias et du digital.

L?équipe est en charge des traitements d?ingestion, de transformation et d?exposition des données du groupe : audience web et mobile, marketing digital, base clients, contenus éditoriaux, offres commerciales ou encore logistique de distribution.

Dans un contexte de transformation de la plateforme DATA, le socle technique migre actuellement d?un environnement Cloudera on premise vers Snowflake.




Missions principales :

Développer et maintenir les flux d?ingestion et de transformation de données
Participer à la migration des traitements Cloudera / Hive / Hadoop vers Snowflake
Développer des traitements en Python, SQL et éventuellement PySpark
Exploiter différentes sources de données : API, Kafka, RabbitMQ, fichiers plats, bases relationnelles
Assurer le suivi de production, analyser les incidents et mettre en place les correctifs
Participer aux revues de code et aux bonnes pratiques via Git
Rédiger et maintenir la documentation technique des traitements
Mettre en place des contrôles de cohérence et de qualité des données



Profil candidat:
Le profil recherché :

Expérience confirmée en Data Engineering
Très bonne maîtrise de Python et SQL
Expérience sur des environnements ETL / ELT
Maîtrise de Git et des bonnes pratiques de développement
Expérience en diagnostic et correction d?incidents de production
Autonomie, rigueur et capacité à travailler en équipe

Compétences appréciées :

Snowflake ou BigQuery
PySpark / Spark
Hive / Hadoop / Cloudera
Kafka / RabbitMQ
GitLab CI
Kubernetes