Publiée le 16 juin
Mission du poste
Ingénieur Data Spark / Scala — Nanterre Localisation : Nanterre Démarrage : ASAP / dès que possible Niveau : Confirmé Durée : mission longue durée Dans le cadre d’un projet de Business Intelligence & Big Data pour un acteur majeur du secteur de l’assurance, nous recherchons un(e) Ingénieur Data Spark / Scala afin de contribuer à la conception, au développement et à l’industrialisation de traitements Data sur une architecture Big Data. Contexte Vous interviendrez au sein d’une équipe projet dédiée aux sujets Business Intelligence & Big Data . Le projet s’appuie sur une architecture permettant de collecter les données issues de plusieurs Back Offices dans un Datalake sur cluster Hadoop . Ces données sont ensuite exploitées afin d’alimenter un Datawarehouse communautaire stocké sur une base Exadata . L’intervention consiste à concevoir et développer de nouveaux traitements Spark / Scala , manipulant les données raffinées du Datalake et intégrant des règles métiers décisionnelles. Vous travaillerez en étroite collaboration avec le Chef de Projet, le responsable de lot et l’équipe de développement du programme. Vos missions Participer à la conception détaillée des traitements Data . Rédiger les spécifications fonctionnelles générales et détaillées. Développer des traitements Spark / Scala . Manipuler les données raffinées du Datalake selon les règles métiers décisionnelles définies. Contribuer à la formalisation des plans de tests. Réaliser les tests unitaires et les premiers tests d’intégration. Analyser et corriger les anomalies en phase d’intégration fonctionnelle et de recette utilisateur. Préparer le packaging des traitements. Déployer les composants en préproduction et en production. Optimiser les traitements afin de garantir les standards de qualité de service. Mettre en œuvre des solutions industrielles et de réentrance pour sécuriser la reprise des traitements en cas d’incident de production. Participer à la mise en service et accompagner le déploiement. Assurer le suivi des environnements. Stack / environnement Big Data : Spark, Scala, Hadoop, Datalake Datawarehouse : Exadata, alimentation de Datawarehouse communautaire Base de données : Oracle Industrialisation : Packaging, déploiement préproduction / production, réentrance des traitements DevOps / versioning : GitLab Contexte projet : Business Intelligence, Big Data, traitements décisionnels, règles métiers Data Environnement complémentaire apprécié : Apache Mesos Qualité de service : Optimisation des traitements, suivi des environnements, reprise sur incident Profil recherché Expérience confirmée en ingénierie Data, Big Data ou développement de traitements décisionnels. Plus de 5 ans d’expérience sur Spark et Scala. Bonne maîtrise du développement de traitements Data dans des environnements Big Data . Expérience dans la manipulation de données issues d’un Datalake. Bonne compréhension des architectures Hadoop et Datawarehouse . Connaissance nécessaire de GitLab . Connaissance nécessaire d’ Oracle . Connaissance d’ Apache Mesos appréciée. Capacité à rédiger des spécifications fonctionnelles générales et détaillées. Capacité à contribuer aux plans de tests, aux tests unitaires et aux tests d’intégration. Capacité à analyser et résoudre les anomalies en phase d’intégration et de recette. Sens de l’industrialisation, de l’optimisation et de la qualité de service. Rigueur, autonomie et capacité à travailler en coordination avec les différentes parties prenantes projet. Candidature Vous souhaitez contribuer à un projet structurant de Business Intelligence & Big Data , autour de traitements Spark / Scala , Datalake Hadoop et Datawarehouse Exadata ? Merci de postuler directement.
