Lead data engineer

Nous recherchons pour le compte de notre client grand-compte dans l'Energie, un Lead data Engineer.

Objectifs :

Etre le/la référent(e) technique de la plateforme de données - coordination technique transverse

Etre référent principale sur un sujet pilote

Définir, mettre en ?uvre et automatiser des pipes des données et gouvernance

Assurer le Run notamment la MCO, la CI / CD et la mise en production en coordination avec l?équipe référente

Préparer les pipelines Data en coordination avec l?architecte et le manager

Avoir un sens expérimental et de proposition dans un contexte Multi cloud est un atout majeur

Missions :

Etre le/la référent(e) technique de la plateforme de données

Etre garant(e) du socle technique de la plateforme data et de son évolution,

Définir les besoins techniques, la roadmap d?évolution du socle technique de la plateforme de données pour suivre ses changements d?échelle et garantir ses performances et sa maintenabilité,

Etre mentor et référent pour les membres de l?équipe,

Participer aux choix de nos partenaires.

Le dev de devops : définir, mettre en ?uvre et automatiser des pipes des données et gouvernance

Mettre en place des projets Data Lake (ingestion de sources, pipeline de traitements de données, modélisation, tests, déploiements) dans la meilleure architecture,

Définir les meilleures de façon de stocker exposer les données au sein de la plateforme selon les usages attendus,

Garantir la qualité des données en mettant en place les outils de mesure et de suivi adéquats,

Réaliser les développements en ayant intégré les besoins et pratiques des analystes et data scientists.

run et environnements

Maintenir les environnements techniques et partager vos connaissances,

Gérer les incidents et s?assurer de leur résolution dans une logique d?amélioration continue et d?automatisation (ex : rejeu de données),

Assurer la supervision des traitements (technique et fonctionnelle).

Profil candidat:

Un minimum de 8 ans d?expérience dans le domaine de la Data engineering avec une orientation DevOps ou équivalent

Diplôme d?ingénieur dans un domaine orienté Data ou équivalent

Une première expérience dans le domaine des services énergétique est une préférence

Cloud : AWS (Redshift, RDS, Lambda, SQS, SNS, Api Gateway, etc.), GCP

DEV : Python, API (Fast ou Flask), GraphQL, Airflow, Linux, Git (Code review, Merge Request, etc.), Docker

DevOps : Docker, Terraform, CI/CD, Gitlab, Gitlab CI, etc.

Excellentes compétences DATA : BDD, SGBDR, DataWarehouse,SQL, NOSQL BIGDATA : HDFS, SPARK, Hadoop, etc.

Data Science (Modélisation, MLOPS)

Notions : Scalabilité, Clustering, Data Mesh, Data Virt, Data Qualité, etc.

Excellente compétences Analytique : Tableau, Dataiku, Alteryx, etc.