Data engineer - h/f

Votre mission

· Concevoir, développer et maintenir des pipelines de données robustes (batch et/ou streaming)

· Mettre en œuvre des solutions data sur Databricks (Spark, notebooks, jobs)

· Participer à la structuration et l’optimisation des data lakes / lakehouses

· Garantir la qualité, la performance et la fiabilité des données

· Collaorer avec les Data Scientists, Data Analysts et équipes métiers

· Contribuer à l’industrialisation des traitements data et aux bonnes pratiques

· Participer aux choix d’architecture et à l’amélioration continue des plateformes



Environnement technique

· Databricks / Apache Spark

· Langages : Python, SQL

· Orchestration : Airflow, Azure Data Factory ou équivalent

· Cloud : AWS, Azure ou GCP

· Bases de données : SQL / NoSQL

· Environnements Big Data et architectures data modernes

Le plus :

· Connaissances approfondies en gestion de bases de données relationnelles et NoSQL.

· Expertise en optimisation des performances des systèmes de données.

· Connaissances des frameworks de traitement distribué (Spark, Flink).

· Certifications cloud (AWS, Azure, GCP) appréciées.

Rassurez-vous, pas besoin de tout connaitre ! Un accompagnement et des formations sont là pour vous permettre de vous amuser avec toutes ces technologies.