Data engineer (it)

Nous recherchons un Data Engineer confirmé / sénior disposant d?une forte expertise sur Azure, Databricks, Spark et SQL.

· Analyse des traitements existants dans le cadre de projets de migration

· Conception et construction de pipelines de données pour transformer, enrichir et traiter les données au sein du Data Lake

· Développement de notebooks Databricks pour des traitements avancés de données

· Mise en ?uvre de solutions de Cloud Data Warehousing (optimisation des traitements et tuning des requêtes SQL)

· Rédaction de la documentation technique (Dossiers d?Analyse Technique, release delivery notes, etc.)

· Réalisation de revues de code dans une logique de qualité et de bonnes pratiques

· Conception et exécution de tests unitaires

· Livraison des développements dans un environnement DevOps intégrant des processus CI/CD et les outils associés

3 - Compétences techniques requises

· Expérience Data minimum 5 ans

· Azure minimum 3 ans

· Databricks minimum 5 ans

· Spark minimum 5 ans

· Python minimum 5 ans

· SQL minimum 5 ans

· Maitrise de CI/CD, Azure DevOps minimum 3 ans

· Connaissance des outils Agile (JIRA) et ayant déjà travaillé en mode Agile minimum 1 an





Profil candidat:
CONSEIL
Organise les données avec prise en compte de la gestion du cycle de vie de la donnée
Identifie finement les sources de données à utiliser
S'assure de la cohérence de l'intégration des données dans les projets qu'il accompagne
S'assure du respect des exigences traitement et de sécurité sur les données
Applique et documente en collaboration avec l'Architecte d'Entreprise Data la gouvernance des données
Référence et suit le bon usage de la donnée