Data engineer - banque d'investissement - freelance

Description du poste Taux journalier (TJM): 500 euros Contexte Recherche d'un data engineer avec un minimum de 4 ans d'expérience TJM : 500 euros Entité : Banque d'investissement Périmètre : La chaîne de crédit corporate (crédit octroyé aux entreprises) Enjeu métier : Accompagner les besoins de financement des entreprises pour leurs projets d'investissement. Ces entreprises ont deux leviers : l'émission de titres (actions) ou l'emprunt bancaire via le crédit corporate. Caractéristique du produit : Ce sont des crédits avec énormément de customisation possible. Refonte complète du Data Lake afin de remplacer l’infrastructure legacy par une plateforme moderne, scalable et pleinement gouvernée. Le nouveau lake s’appuiera sur une architecture Medallion et intégrera les technologies suivantes : TrinoDB, Apache Iceberg, Parquet, dbt, Argo Workflows, Apache Superset, Metabase et OpenMetadata. Une équipe, placée sous la responsabilité du client, démarre le projet en mode « commando » pendant les prochains mois pour livrer rapidement un premier MVP. Nous recherchons des candidats ayant déjà travaillé sur la gestion des métadonnées, le déploiement Kubernetes et l’orchestration via Argo Workflows (ou équivalent). Missions Analyse de l’existant & migration Cartographier les sources, pipelines et jeux de données actuels (SQL legacy, fichiers plats…). Définir la stratégie de migration vers le nouveau lake (Bronze → Silver → Gold). Concevoir les plans de bascule en limitant les interruptions de service. Architecture & ingestion Concevoir les couches Bronze / Silver / Gold avec TrinoDB, Apache Iceberg et Parquet. Créer des pipelines d’ingestion (batch & near‑real‑time) depuis les systèmes de crédit. Modélisation & transformation Développer les modèles dbt : scripts SQL, tests automatisés, documentation et versionning. Harmoniser les schémas (nommage, typage, PK/UK) selon les exigences du domaine crédit. Orchestration Implémenter les workflows de migration et de rafraîchissement avec Argo Workflows (planification, dépendances, monitoring). Self‑service & visualisation Déployer les espaces Apache Superset et Metabase pour que les analystes métier créent leurs dashboards. Rédiger des guides d’utilisation et accompagner la montée en compétences. Gouvernance, catalogue & lineage Intégrer OpenMetadata pour le catalogage, le suivi du lineage et la gestion des métadonnées (description, propriétaire, sensibilité). Mettre en place des processus de data ownership, de versionning et de validation. Qualité & validation Insérer dans les modèles dbt des tests de qualité (not null, unicité, règles métier spécifiques). Définir des indicateurs de suivi (freshness, complétude, anomalies) et des alertes automatiques. Sécurité & conformité Appliquer les standards du groupe (RBAC, data‑masking). Contribuer aux audits internes et aux revues de conformité réglementaire. Collaboration inter‑équipes Travailler en étroite coordination avec les équipes métiers. Participer aux cérémonies projet et aux ateliers de design. Compétences techniques attendues TrinoDB (SQL fédéré) : Intermédiaire Apache Iceberg & Parquet : Intermédiaire dbt (modélisation, tests, documentation) : Intermédiaire Argo Workflows (orchestration) : Intermédiaire à avancé Apache Superset / Metabase (BI) : Intermédiaire OpenMetadata (catalogue, lineage) : Intermédiaire Architecture Medallion (Bronze/Silver/Gold) : Expérience démontrée Migration / refonte d’un Data Lake : Expérience significative Gestion de versions (Git), CI/CD (GitHub Actions, GitLab, Jenkins) : Intermédiaire Scripting (Python, Bash) : Intermédiaire Profil recherché 4 ans d'expérience minimum en data engineering Expérience avec la gestion des métadonnées Compétences en déploiement Kubernetes et orchestration via Argo Workflows (ou équivalent) Maîtrise intermédiaire de TrinoDB (SQL fédéré) Maîtrise intermédiaire de Apache Iceberg et Parquet Maîtrise intermédiaire de dbt (modélisation, tests, documentation) Compétences intermédiaires à avancées en Argo Workflows (orchestration) Maîtrise intermédiaire de Apache Superset et Metabase (BI) Maîtrise intermédiaire de OpenMetadata (catalogue, lineage) Expérience démontrée avec l' architecture Medallion (Bronze/Silver/Gold) Expérience significative en migration/refonte d’un Data Lake Compétences intermédiaires en gestion de versions (Git) et CI/CD (GitHub Actions, GitLab, Jenkins) Compétences intermédiaires en scripting Python et Bash