Data engineer - h/f

Description

La DSI pilote une migration progressive vers une architecture GCP (BigQuery, DBT, Airflow) pour remplacer un environnement hétérogène composé de bases relationnelles (Oracle, SQL Server, MySQL, Progress SQL), de fichiers QVD et d'ordonnancement Airflow.

Dans ce cadre, le Data Engineer recruté aura pour mission de construire, industrialiser et maintenir les pipelines de données alimentant les couches Bronze, Silver et Gold de l'architecture Medallion, en lien direct avec les équipes métier, BI et infrastructure.

Son rôle, renforcer les compétences data engineering, et à sécuriser la continuité opérationnelle dans un contexte de montée en maturité data de l'organisation.

3.1 Construction et maintenance des pipelines de données
1. Développer et maintenir les pipelines alimentant BigQuery depuis les sources (Oracle, SQL Server, MySQL, Progress SQL)

2. Modéliser les couches Bronze (ingestion brute), Silver (nettoyage, normalisation) et Gold (agrégats métier) selon l'architecture Medallion

3. Écrire, tester et versionner les transformations DBT (modèles, tests, documentation)

4. Orchestrer les workflows de données via Apache Airflow (DAGs, dépendances, gestion des erreurs et alertes)

3.2 Qualité et fiabilité des données
5. Implémenter des contrôles qualité à chaque couche de la plateforme (tests DBT, checks d'intégrité référentielle, détection d'anomalies)

6. Mettre en place une gestion des incidents data et assurer le suivi des SLA de disponibilité

7. Documenter les modèles, les flux et les règles métier dans les outils de catalogage (Dataplex)

3.3 Contribution à la gouvernance et à l'acculturation data
8. Travailler en étroite collaboration avec les Data Domain Owners pour formaliser les règles métier et les définitions des indicateurs

9. Participer à la définition et à l'alimentation du catalogue de données (métadonnées techniques et fonctionnelles)

10. Contribuer à la montée en compétences des équipes BI sur les pratiques de la plateforme cible

3.4 Migration et intégration technique
11. Accompagner la migration progressive des sources QlikView/QVD vers la plateforme GCP

12. Identifier et traiter les dépendances entre les extractions manuelles Excel, les DAGs Airflow et les tables Gold exposées aux outils BI (Qlik Sense)

13. Participer aux arbitrages d'architecture avec la DSI et les prestataires externes

Profil

Votre formation :

14. Bac+4/5 en informatique, data engineering, mathématiques appliquées ou équivalent

15. Formation par l'expérience acceptée pour les profils autodidactes solides

Votre expérience :

16. 2 à 5 ans d'expérience en data engineering ou dans un rôle équivalent (alternance comprise)

17. Expérience sur au moins un projet de construction de data platform (cloud GCP)

18. Exposition à des environnements legacy multi-sources appréciée

Vos compétences techniques requises :

19. SQL avancé (CTE, optimisation de requêtes)

20. Python pour la manipulation de données et l'automatisation

21. Maîtrise de DBT (modèles, tests, documentation, sources)

22. Apache Airflow (DAG authoring, gestion des dépendances, monitoring)

23. Google BigQuery

24. Git et pratiques de versionnage (branches, PR, CI/CD basique)

Compétences techniques apprécées :

25. Connaissance de l'écosystème GCP (Cloud Storage, Cloud Composer, Dataplex)

26. Expérience avec des bases de données relationnelles legacy (Oracle, SQL Server, MySQL)

27. Notions de modélisation dimensionnelle (Kimball, star schema, SCD)

28. Connaissance des outils de catalogage (Zeenea, Data Galaxy, Dataplex)

29. Exposition à Qlik Sense ou QlikView

Vous étes :

Votre rigueur et sens du détail dans la gestion de la qualité des données est primordiale.

Vous savez vous adapter et avez la apacité à travailler en autonomie dans un environnement en structuration

Bon pédagogue et goût pour la transmission auprés des équipes.

Votre curiosité technologique et votre capacité d'adaptation à un stack en évolution sont de véritables atouts

Bon communiquant avec des interlocuteurs non techniques.

Rejoignez l'équipe !

Mieux nous connaitre

Les 533 adhérents E.Leclerc exploitant 726 magasins indépendants en France, emploient 140.000 salariés. L'enseigne E.Leclerc a réalisé un chiffre d'affaires de 41 milliards d'euros (hors carburant) en 2021 et est le leader de la distribution française avec une part de marché de 22.5%.

Employeurs engagés, les centres E.Leclerc accueillent chaque année près de 4.000 alternants (dont 2800 apprentis) et 10.000 stagiaires pour concourir à leur formation. Ils s'investissent également aux côtés de l'Agefiph dans une démarche volontariste d'intégration des personnes en situation de handicap.

Faire partie de l'enseigne E.LECLERC, c'est intégrer une fédération d'entreprises dynamiques, en croissance et qui se démarquent autant par leur mode de fonctionnement que par leur capacité à innover et à bouleverser les idées reçues.

Au sein de ce mouvement d'indépendants, la SCAPARTOIS (Société Coopérative d'AProvisionnement de l'ARTOIS) basée à Tilloy les Mofflaines, coordonne et met en oeuvre la politique commerciale de l'enseigne au sein des centres E LECLERC et Drive des 5 départements (Nord, Pas de Calais, Oise, Somme et Seine Maritime).

Aujourd'hui, plus de 650 salariés travaillent au sein de la Scapartois, dont 80 % sur le périmètre logistique.

Avec une activité multipliée par 5 en 30 ans, et dépassant le milliard d'euros en Chiffre d'Affaires, l'entreprise continue son développement et la structuration de ses équipes.