Data engineer / architecte data lake

Data Engineer / Architecte Data Lake — Mission Banque CIB (Crédit)

Démarrage : Rapide Durée : Mission longue durée Secteur : Banque – Corporate & Investment Banking (CIB) – Périmètre Crédit

Contexte de la mission

Dans le cadre d'un projet stratégique sur le périmètre Crédit / Global Banking CIB, nous lançons l'étude d'un nouveau Data Lake destiné à remplacer une infrastructure legacy par une plateforme moderne, scalable et pleinement gouvernée.

Le futur Data Lake s'appuiera sur une architecture Medallion (Bronze / Silver / Gold) et intégrera la stack suivante : TrinoDB, Apache Iceberg, Parquet, dbt, Argo Workflows, Apache Superset, Metabase, OpenMetadata.

Responsabilités principales

Analyse de l'existant & migration

* Cartographier les sources, pipelines et jeux de données actuels (legacy, SQL, fichiers plats…)
* Définir la stratégie de migration vers le nouveau lake (Bronze → Silver → Gold)
* Concevoir les plans de bascule en minimisant les interruptions de service

Architecture & ingestion

* Concevoir les couches Bronze / Silver / Gold avec TrinoDB, Apache Iceberg et Parquet
* Créer les pipelines d'ingestion (batch & near-real-time) depuis les systèmes de crédit

Modélisation & transformation

* Développer les modèles de transformation dans dbt (SQL, tests automatisés, documentation, versioning)
* Harmoniser les schémas selon les exigences du domaine crédit

Orchestration

* Implémenter les workflows de migration et de rafraîchissement avec Argo Workflows

Self-service & visualisation

* Déployer Apache Superset et Metabase pour les analystes métier
* Rédiger les guides d'utilisation et accompagner la montée en compétence des équipes

Gouvernance, catalogue & lineage

* Intégrer OpenMetadata pour le catalogage automatique, le lineage et la gestion des métadonnées
* Mettre en place les processus de data ownership, versioning et validation

Qualité & validation

* Implémenter les tests de qualité dans dbt (not-null, unicité, règles métier crédit)
* Mettre en place les indicateurs de suivi (freshness, complétude, anomalies) et les alertes

Sécurité & conformité

* Appliquer les standards de sécurité (RBAC, data-masking)
* Contribuer aux audits internes et aux revues de conformité réglementaire

Collaboration inter-équipes

* Travailler en coordination étroite avec les équipes métier
* Participer aux cérémonies projets et aux ateliers de design

Compétences techniques attendues

* TrinoDB (SQL fédéré) — Intermédiaire
* Apache Iceberg & Parquet — Intermédiaire
* dbt (modélisation, tests, documentation) — Intermédiaire
* Argo Workflows (orchestration) — Intermédiaire à avancé
* Apache Superset / Metabase (BI) — Intermédiaire
* OpenMetadata (catalogue, lineage) — Intermédiaire
* Architecture Medallion (Bronze-Silver-Gold) — Expérience démontrée
* Migration / refonte d'un Data Lake existant — Expérience significative
* Git, CI/CD (GitHub Actions, GitLab, Jenkins) — Intermédiaire
* Scripting (Python, Bash) — Intermédiaire

Profil recherché

Profil confirmé à senior, disposant d'une expérience significative sur la refonte ou la migration d'un Data Lake, à l'aise dans des environnements exigeants en matière de qualité, de gouvernance et de sécurité des données.

Une expérience préalable en environnement bancaire, et idéalement sur le domaine du crédit, constitue un atout apprécié.