Data engineer aws h/f

Descriptif de l’entreprise :


Meritis est un cabinet de conseil spécialisé en IT pour la finance, reconnu comme un acteur clé du secteur. A titre d'exemple, 1 er partenaire et principal fournisseur d’Amundi, 2 nd fournisseur de BNPP CIB et partenaire majeur de Natixis, nous accompagnons l’ensemble des banques d’investissement, intermédiaires de marchés, hedge funds, asset managers de la place parisienne.


Notre expertise couvre toute la chaîne Front-to-Back, en intervenant sur des projets stratégiques et à forte valeur ajoutée. Nos références :

· Banques d’Investissement : BNPP CIB, CACIB, NATIXIS, SGCIB

· Asset Management : Amundi, LBPAM, TIKEHAU, ODDO BHF, EDRAM

· Fonds d’Investissement & Institutions Financières : QUBE RT, CFM, LCH, EPEX, EURONEXT

· Assurance : AXA, Groupama, CNP


Descriptif de la mission :


Le rôle du Data Engineer dans ce projet consistera à :

• Concevoir et implémenter les composants/pipelines d’ingestion de données en scala spark

• Traiter et normaliser les données

• Refactoriser des imports existants pour être compliant avec l'architecture medaillon (silver + gold layers)

• Appliquer/challenger les règles métier pour générer la couche gold tout en garantissant les performances, la scalabilité et les coûts cloud

• Distribuer les données aux différents consommateurs/Métiers

• Implémenter les règles de Data Quality (DataQuality framework) et gérer le data calatog

• Développer et améliorer les frameworks communs (monitoring, CI/CD, tests, performance, résilience, standards de développement, qualité du code)

• Rédiger et maintenir la documentation technique des développements réalisés : schéma d'architecture, Infra, Flux, …

• Garantir le respect des standards du Groupe en matière de qualité, sécurité, partage, usage et architecture des données

• Participer au développement et à la maintenance du calculateur en Scala Spark avec l'objectif :

- d'optimiser le temps de calculs,

- d'optimiser les performances,

- de garantir la scalabilité au regard d'un accroissement annuel important du volume des market operations,

- de maîtriser et d'optimiser les coûts cloud.

• Être force de proposition pour améliorer les processus et les performances des systèmes.


Compétences requises :

• Expertise en Scala et Spark.

• Expérience significative dans le développement d'ETL en contexte Big Data.

• Expérience AWS (Glue, Lambda, Step Function, S3, etc.) : niveau intermédiaire avec exéprience pratique

• Compétences Dev/Ops

• Capacité à travailler en équipe et à communiquer efficacement avec les parties prenantes.

• Organisation, orientation résultats et intérêt marqué pour le fonctionnel.

• Des compétences en Python et REACT seraient un plus pour le candidat


Profil recherché :

• Minimum 5 ans d'expérience en développement Scala Spark.

• Expérience avérée dans des projets Big Data et ETL.

• Capacité à être force de proposition et à travailler de manière autonome.

• Intérêt pour le secteur de l'énergie, du trading et de la détection d'abus de marché.