Ingénieur data spark / scala — nanterre

Ingénieur Data Spark / Scala — Nanterre

Localisation : Nanterre

Démarrage : ASAP / dès que possible

Niveau : Confirmé

Durée : mission longue durée

Dans le cadre d’un projet de Business Intelligence & Big Data pour un acteur majeur du secteur de l’assurance, nous recherchons un(e) Ingénieur Data Spark / Scala afin de contribuer à la conception, au développement et à l’industrialisation de traitements Data sur une architecture Big Data.

Contexte

Vous interviendrez au sein d’une équipe projet dédiée aux sujets Business Intelligence & Big Data.

Le projet s’appuie sur une architecture permettant de collecter les données issues de plusieurs Back Offices dans un Datalake sur cluster Hadoop. Ces données sont ensuite exploitées afin d’alimenter un Datawarehouse communautaire stocké sur une base Exadata.

L’intervention consiste à concevoir et développer de nouveaux traitements Spark / Scala, manipulant les données raffinées du Datalake et intégrant des règles métiers décisionnelles.

Vous travaillerez en étroite collaboration avec le Chef de Projet, le responsable de lot et l’équipe de développement du programme.

Vos missions

• Participer à la conception détaillée des traitements Data.
• Rédiger les spécifications fonctionnelles générales et détaillées.
• Développer des traitements Spark / Scala.
• Manipuler les données raffinées du Datalake selon les règles métiers décisionnelles définies.
• Contribuer à la formalisation des plans de tests.
• Réaliser les tests unitaires et les premiers tests d’intégration.
• Analyser et corriger les anomalies en phase d’intégration fonctionnelle et de recette utilisateur.
• Préparer le packaging des traitements.
• Déployer les composants en préproduction et en production.
• Optimiser les traitements afin de garantir les standards de qualité de service.
• Mettre en œuvre des solutions industrielles et de réentrance pour sécuriser la reprise des traitements en cas d’incident de production.
• Participer à la mise en service et accompagner le déploiement.
• Assurer le suivi des environnements.

Stack / environnement

Big Data :

• Spark, Scala, Hadoop, Datalake

Datawarehouse :

• Exadata, alimentation de Datawarehouse communautaire

Base de données :

• Oracle

Industrialisation :

• Packaging, déploiement préproduction / production, réentrance des traitements

DevOps / versioning :

• GitLab

Contexte projet :

• Business Intelligence, Big Data, traitements décisionnels, règles métiers Data

Environnement complémentaire apprécié :

• Apache Mesos

Qualité de service :

• Optimisation des traitements, suivi des environnements, reprise sur incident

Profil recherché

• Expérience confirmée en ingénierie Data, Big Data ou développement de traitements décisionnels.
• Plus de 5 ans d’expérience sur Spark et Scala.
• Bonne maîtrise du développement de traitements Data dans des environnements Big Data.
• Expérience dans la manipulation de données issues d’un Datalake.
• Bonne compréhension des architectures Hadoop et Datawarehouse.
• Connaissance nécessaire de GitLab.
• Connaissance nécessaire d’Oracle.
• Connaissance d’Apache Mesos appréciée.
• Capacité à rédiger des spécifications fonctionnelles générales et détaillées.
• Capacité à contribuer aux plans de tests, aux tests unitaires et aux tests d’intégration.
• Capacité à analyser et résoudre les anomalies en phase d’intégration et de recette.
• Sens de l’industrialisation, de l’optimisation et de la qualité de service.
• Rigueur, autonomie et capacité à travailler en coordination avec les différentes parties prenantes projet.

Candidature

Vous souhaitez contribuer à un projet structurant de Business Intelligence & Big Data, autour de traitements Spark / Scala, Datalake Hadoop et Datawarehouse Exadata ?

Merci de postuler directement.