Pot9062 - un data engineer sénior / big data / spark / cloudera sur paris (it) / freelance

Almatek recherche pour l'un de ses clients Un Data Engineer Sénior / Big Data / Spark / Cloudera sur Paris.

Contexte de la mission
Le projet HALO est un programme stratégique de digitalisation des parcours bancaires (vente en ligne, souscription, IA). La Direction Data met en place une plateforme Big Data pour alimenter les cas d’usage métiers à forte valeur ajoutée.
Il s’agit d’un nouveau projet (build) avec des enjeux de performance, d’intégration IA et de montée en charge. L’environnement technique est centré sur un écosystème Hadoop/Cloudera on-premise.
Missions principales
• Participer à la définition de l’architecture Data en lien avec les architectes et la squad
• Affiner les User Stories avec le PO/BA, concevoir et développer les pipelines de collecte et de stockage des données
• Orchestrer les flux batch et temps réel (Spark batch + Spark Streaming)
• Mettre en œuvre les tests unitaires et automatisés
• Déployer le produit dans les différents environnements (CI/CD)
• Garantir le bon fonctionnement en production : monitoring, gestion des incidents, optimisation
• Accompagner l’équipe dans une logique d’amélioration continue de la qualité du code

Environnement technique
Catégorie Technologies
Framework Big Data Hadoop Cloudera (requis)
Traitement Spark, PySpark, Spark Streaming (requis) — Scala (apprécié)
Messaging Kafka, Kafka Connect, Kafka Streams (apprécié)
Langages SQL (requis), Scala, Java, Shell, Python
Bases de données SQL : Hive, Phoenix — NoSQL : HBase, MongoDB
DevOps / CI-CD Git, Jenkins, Artifactory, XL Deploy, XL Release
Monitoring ELK Stack (Elasticsearch, Logstash, Kibana), Grafana
Gouvernance RGPD, Data Lineage, Catalogage



Profil candidat:

Profil recherché
Compétences techniques
– 7 à 10 ans d’expérience en Data Engineering / Big Data
– Maîtrise de Spark (batch et streaming) et de l’écosystème Hadoop/Cloudera
– Expérience avérée en conception d’architecture data (Lambda, Lakehouse, etc.)
– Capacité à optimiser les performances (partitionnement, tuning Spark, montée en charge)
– Expérience sur des projets build (construction from scratch, pas uniquement du run)
– Maîtrise des outils CI/CD et des pratiques DevOps

Expérience sectorielle
– Expérience en banque impérative (BFI, Risk, Conformité, Marchés de capitaux, Retail Banking)
– Compréhension des enjeux métiers bancaires : réglementation, conformité, parcours digitaux
– Idéalement : expérience dans un grand groupe bancaire français (SG, Natixis, BNP, BPCE, CA…)

Savoir-être (pondération forte)
– Posture Tech Lead : force de proposition, prise de lead, participation aux choix d’architecture
– Excellent communicant, pédagogue, capable de vulgariser les sujets techniques
– Proactif, rigoureux, autonome
– Capacité à challenger les besoins métiers et proposer des solutions adaptées
– Dynamique, orienté résultats, apte à évoluer dans un contexte de build à forts enjeux
Atouts différenciants
• Expérience en architecture Lambda (batch + streaming temps réel)
• Connaissance de Trino/Starburst, Iceberg, Lakehouse
• Expérience en mise en production de modèles IA/ML (MLOps)
• Encadrement d’équipes de Data Engineers
• Migration de clusters (Hortonworks ? Cloudera, on-prem ? cloud)

Localisation : Paris / Île-de-France