Data engineer - spark/scala (it) / freelance

Nous sommes à la recherche d?un Développeur Big Data Java/Scala ? Projet Migration DataHub V2



Objectif de la mission :
Assurer un service de développement Big Data dans un environnement distribué à forte volumétrie. Accompagnement sur les phases de conception, développement, industrialisation et maintien des traitements.



Stack et compétences techniques requises :

Apache Spark (maîtrise attendue)


Scala (langage principal sur la squad)


SQL (avancé)


Java (notions de base à confirmées)


Kafka (bonnes bases sur les événements, topics)


Apache Airflow (idéalement une première expérience)


Écosystème Hadoop : HDFS, Hive, Yarn (bonnes bases requises)


Cloud (une première expérience Cloud valorisée, idéalement GCP ou AWS)


CI/CD : Jenkins, Gitflow, notions de DevOps


Méthodologie Agile : backlog, rituels, communication proactive





Responsabilités principales :

Étude et conception technique des batchs


Développement Spark/Scala pour traitement de données volumineuses


Récupération, transformation, enrichissement, restitution


Création de batchs de publication Kafka


Participation à la maintenance de la chaîne CI/CD


Collaboration étroite avec les Business Analysts pour garantir qualité et lisibilité des libellés


Gestion autonome de certains sujets (reporting, suivi, coordination)





Profil recherché :

Confirmé (3 à 6 ans d?expérience sur des environnements similaires)


Proactif, rigoureux, à l?aise dans les contextes techniques exigeants


Capacité à interagir avec des interlocuteurs techniques et fonctionnels





Démarrage : ASAP
Durée : mission longue (visibilité +12 mois)



Profil candidat:
Nous sommes à la recherche d?un Développeur Big Data Java/Scala ? Projet Migration DataHub V2



Objectif de la mission :
Assurer un service de développement Big Data dans un environnement distribué à forte volumétrie. Accompagnement sur les phases de conception, développement, industrialisation et maintien des traitements.



Stack et compétences techniques requises :

Apache Spark (maîtrise attendue)


Scala (langage principal sur la squad)


SQL (avancé)


Java (notions de base à confirmées)


Kafka (bonnes bases sur les événements, topics)


Apache Airflow (idéalement une première expérience)


Écosystème Hadoop : HDFS, Hive, Yarn (bonnes bases requises)


Cloud (une première expérience Cloud valorisée, idéalement GCP ou AWS)


CI/CD : Jenkins, Gitflow, notions de DevOps


Méthodologie Agile : backlog, rituels, communication proactive





Responsabilités principales :

Étude et conception technique des batchs


Développement Spark/Scala pour traitement de données volumineuses


Récupération, transformation, enrichissement, restitution


Création de batchs de publication Kafka


Participation à la maintenance de la chaîne CI/CD


Collaboration étroite avec les Business Analysts pour garantir qualité et lisibilité des libellés


Gestion autonome de certains sujets (reporting, suivi, coordination)





Profil recherché :

Confirmé (3 à 6 ans d?expérience sur des environnements similaires)


Proactif, rigoureux, à l?aise dans les contextes techniques exigeants


Capacité à interagir avec des interlocuteurs techniques et fonctionnels





Démarrage : ASAP
Durée : mission longue (visibilité +12 mois)