Data engineer h/f

Qui sommes-nous ?

Depuis près de 20 ans, agap2 acteur européen de conseil en ingénierie et des services numériques, accompagne le monde industriel dans la réalisation de ses projets les plus complexes et les plus innovants. Grâce à cette relation pérenne et suite aux besoins de nos partenaires de se faire accompagner sur leurs projets IT et digitaux, agap2IT est né. Agap2IT est donc une marque spécialisée dans les projets informatiques et digitaux du secteur industriel, des services et la finance. Votre mission

· Concevoir, développer et maintenir des pipelines de données robustes (batch et/ou streaming)

· Mettre en oeuvre des solutions data sur Databricks (Spark, notebooks, jobs)

· Participer à la structuration et l'optimisation des data lakes / lakehouses

· Garantir la qualité, la performance et la fiabilité des données

· Collaorer avec les Data Scientists, Data Analysts et équipes métiers

· Contribuer à l'industrialisation des traitements data et aux bonnes pratiques

· Participer aux choix d'architecture et à l'amélioration continue des plateformes

Environnement technique

· Databricks / Apache Spark

· Langages : Python, SQL

· Orchestration : Airflow, Azure Data Factory ou équivalent

· Cloud : AWS, Azure ou GCP

· Bases de données : SQL / NoSQL

· Environnements Big Data et architectures data modernes

Le plus :

· Connaissances approfondies en gestion de bases de données relationnelles et NoSQL.

· Expertise en optimisation des performances des systèmes de données.

· Connaissances des frameworks de traitement distribué (Spark, Flink).

· Certifications cloud (AWS, Azure, GCP) appréciées.

Rassurez-vous, pas besoin de tout connaitre ! Un accompagnement et des formations sont là pour vous permettre de vous amuser avec toutes ces technologies.