Développeur big data scala / java (migration datahub) (it) / freelance

Contexte / Objectif : Renfort d?une équipe technique en charge de la migration du DataHub vers sa version 2. L?objectif est d?assurer le développement et l?industrialisation de traitements Big Data dans un environnement distribué à forte volumétrie, depuis la conception jusqu?au maintien en production.

Missions principales :

Étude et conception technique des batchs et pipelines data.


Développement Spark/Scala pour traitements batch et streaming.


Récupération, transformation, enrichissement et restitution des données (ETL/ELT).


Création et publication de batchs Kafka (topics / événements).


Participation à l?industrialisation : CI/CD, tests, déploiement et monitoring.


Collaboration étroite avec les Business Analysts pour garantir la qualité et la lisibilité des libellés.


Gestion autonome de sujets transverses (reporting, suivi, coordination, support niveau 2/3).



Stack technique (obligatoire / souhaité) :

Obligatoire : Apache Spark (maîtrise), Scala (langage principal), SQL (avancé).


Souhaité : Java (notions confirmées), Kafka (bonnes bases), Apache Airflow (expérience appréciée), HDFS/Hive/YARN (bonnes bases), expérience Cloud (GCP ou AWS valorisée), CI/CD (Jenkins, Gitflow), notions DevOps.


Méthodologie & environnement : Travail en mode Agile (backlog, rituels, communication proactive). Interaction régulière avec équipes Data, BI, infra et métiers.





Profil candidat:


Profil recherché :

Niveau : confirmé ? 3 à 6 ans d?expérience sur des environnements Big Data similaires.


Qualités :,, autonomie, sens du collectif. Capacité à échanger avec des interlocuteurs techniques et fonctionnels.