Description du poste
Contexte
Prestation à temps plein de Data Engineer Senior Scala/Spark. Intervention en tant que contributeur individuel sur l’étude, le chiffrage, la réalisation et l’exploitation de tâches liées à la constitution de traitements Data complexes.
Les projets sont menés en équipe de 2 à 6 Data Engineers, accompagnés d’ops, architectes et encadrés par un chef de projet.
Le projet concerne une migration technologique d’un décisionnel RH, avec une bascule technologique d’IBM vers Databricks.
Missions
* Réaliser les livrables liés aux User Stories (US) dans un cadre agile, avec découpage par sprints de 2 semaines environ
* Développement des US et tests associés
* Documentation projet, mapping des données, modélisation des pipelines, documents d’exploitation
* Mise en place du CI/CD sur l’usine logicielle
* Mise en place du monitoring
Outils & Environnement
Compétences requises :
* Maîtrise de l'API Scala Spark (batch principalement)
* Maîtrise des techniques d'optimisation Spark
* Expérience dans le traitement de volumétries importantes / complexes
* Développement et bonnes pratiques Scala, build Maven
* Travail en environnement cloud (idéalement Azure) et écosystème Databricks
Compétences souhaitées :
* Connaissance du SI d’une grande entreprise ferroviaire française
* Connaissance des outils Datadog, Rundeck
Profil recherché
1. Maîtrise de l'API Scala Spark (batch principalement)
2. Maîtrise des techniques d'optimisation Spark
3. Expérience dans le traitement de volumétries importantes / complexes
4. Développement et bonnes pratiques Scala, build Maven
5. Travail en environnement cloud (idéalement Azure) et écosystème Databricks
6. Connaissance du SI SNCF (souhaitée)
7. Connaissance des outils Datadog, Rundeck (souhaitée)
En cliquant sur "JE DÉPOSE MON CV", vous acceptez nos CGU et déclarez avoir pris connaissance de la politique de protection des données du site jobijoba.com.