Lead data engineer streaming (it) / freelance

Contexte de la mission

Dans le cadre du programme de modernisation de la plateforme data du Groupe, vous rejoignez la direction Data Engineering de la DSI Banque de Proximité et Assurance (BPA) en tant que Lead Data Engineer spécialisé en streaming.
Vous serez responsable de la conception, de l?industrialisation et de l?optimisation des pipelines de données temps réel, en lien avec les enjeux métiers autour de la fraude, de la connaissance client, et de la supervision des parcours digitaux.
Vous encadrerez une équipe de 3 à 5 data engineers et collaborerez étroitement avec les architectes, les data scientists et les équipes cloud.

Stack technique & environnement

Streaming & ingestion : Apache Kafka (Confluent), Kafka Connect, REST Proxy
Traitement temps réel : Apache Spark Structured Streaming, Apache Flink (POC en cours)
Orchestration : StreamSets, Airflow
Cloud & stockage : Google Cloud Platform (BigQuery, Cloud Storage), Hadoop (legacy)
Langages : Python, Scala, SQL
CI/CD & Infra : GitLab CI, Terraform, Docker, Kubernetes (GKE)
Monitoring : Grafana, Prometheus, Elastic Stack



Profil candidat:
Responsabilités

Piloter la conception et l?évolution des pipelines de données temps réel
Encadrer les data engineers et assurer la montée en compétence sur les outils de streaming
Définir les bonnes pratiques d?architecture et de développement (DataOps, CI/CD)
Participer aux choix technologiques et à l?architecture cible (Flink, Starburst, etc.)
Garantir la qualité, la sécurité et la traçabilité des données
Collaborer avec les équipes métier pour traduire les besoins en solutions techniques


Profil recherché

Minimum 7 ans d?expérience en data engineering, dont 3 ans sur des projets de streaming
Maîtrise avancée d?Apache Kafka et Spark Streaming en environnement distribué
Expérience en encadrement technique ou lead d?équipe
Maitrise de Flink
Expérience sur GCP ou autre cloud public
Capacité à dialoguer avec des profils techniques et métiers
Une expérience dans le secteur bancaire, financier ou en fintech est fortement apprécié