Description du poste
Description du posteDans le cadre du projet de modernisation de la plateforme BI d?Amundi Technology, le consultant Data Engineer / Data Architect Senior interviendra au sein de l?équipe C?ur-Data de la R&D Épargne Salariale et Retraite. Il travaillera en collaboration avec une équipe de cinq personnes ainsi qu?avec les clients internes et les équipes transverses de l?entreprise.
Missions principalesConcevoir et mettre en ?uvre des solutions de gestion et d?exploitation de données répondant aux besoins métiers existants et futurs.
Participer à la définition de l?architecture du Lakehouse sur S3.
Développer des pipelines de traitement de données en Python, Spark et PySpark.
Mettre en place l?ordonnancement des traitements avec Dagster.
Structurer, stocker et rendre accessibles les données aux équipes métiers, notamment marketing.
Concevoir des rapports et solutions de restitution des données à partir du Lakehouse.
Développer des solutions de collecte et de stockage des données.
Réaliser les tests unitaires et assurer le suivi des traitements.
Produire la documentation technique des développements.
Accompagner les utilisateurs et la MOA lors des phases de recette.
Assurer un reporting régulier sur l?avancement du projet et les éventuels blocages.
Collaborer avec les équipes transverses sur les études et évolutions de la plateforme.
Environnement techniqueLangages : Python, Spark, PySpark, SQL
Versioning : Git
CI/CD : Jenkins
Gestion de projet : Jira
Documentation : Confluence
Environnement : Windows 10 + WSL
Outils existants : Informatica, DAC, OBIEE, Eclipse BIRT, Oracle 19
Plateforme cible : Dagster, Trino, S3
Compétences recherchéesExpertise en Data Engineering (Python, Spark, architecture de données).
Bonne connaissance des environnements BI et Data Lake/Lakehouse.
Expérience en Machine Learning appliqué à la donnée (Scikit-Learn, Feature Engineering).
Capacité à échanger avec les métiers et à comprendre leurs besoins.
Maîtrise des outils Informatica.
Connaissance des outils LLM / GenAI pour l?accès et l?exploration de la donnée.
Livrables attendusSolutions développées et déployées.
Programmes testés et prêts pour la recette utilisateur.
Documentation technique complète.
Suivi d?avancement des travaux.
Contribution à l?amélioration continue des processus de développement.
En résumé : il s'agit d'une mission de Data Engineer / Data Architect Senior orientée modernisation d?une plateforme BI vers une architecture Lakehouse moderne, avec un fort volet développement Python/Spark, architecture data, industrialisation et collaboration avec les équipes métiers
Profil candidat:
Le candidat idéal pour cette mission de Data Engineer / Data Architect Senior doit posséder les compétences et expériences suivantes :
Compétences techniques indispensablesExcellente maîtrise de Python, Spark, PySpark et SQL appliqués aux projets data.
Expérience en conception et mise en ?uvre d'architectures de données modernes (Data Lake, Lakehouse, S3).
Connaissance des outils d'orchestration de traitements tels que Dagster.
Maîtrise des outils de gestion de version (Git) et d'intégration continue (Jenkins).
Expérience avec les outils BI et ETL, notamment Informatica.
Connaissance des environnements de documentation et gestion de projet (Confluence, Jira).
Expertise Data & IAExpérience en Machine Learning appliqué à la donnée, notamment :
Scikit-Learn
Feature Engineering
Connaissance des outils LLM / GenAI pour l'exploration, l'accès et la valorisation des données.
Qualités fonctionnelles et relationnellesCapacité à comprendre les besoins métiers et à transformer ces besoins en solutions techniques.
Aisance dans les échanges avec les équipes marketing, MOA et équipes transverses.
Capacité à documenter les développements et à accompagner les utilisateurs lors des phases de recette.
Esprit d'analyse et de résolution de problèmes.
Autonomie et aptitude à travailler dans un environnement collaboratif.
Niveau d'expérience attenduLe poste étant explicitement qualifié de Senior, il cible un profil disposant généralement de plusieurs années d'expérience en :
Data Engineering,
Architecture de données,
Développement de pipelines Big Data,
Industrialisation et gouvernance de la donnée.
En cliquant sur "JE DÉPOSE MON CV", vous acceptez nos CGU et déclarez avoir pris connaissance de la politique de protection des données du site jobijoba.com.