Ingénieur informatique data spark / scala — nanterre (it) / freelance

Ingénieur Data Spark / Scala ? Nanterre




Localisation : Nanterre

Démarrage : ASAP / dès que possible

Niveau : Confirmé

Durée : mission longue durée




Dans le cadre d?un projet de Business Intelligence & Big Data pour un acteur majeur du secteur de l?assurance, nous recherchons un(e) Ingénieur Data Spark / Scala afin de contribuer à la conception, au développement et à l?industrialisation de traitements Data sur une architecture Big Data.







Vos missions

Participer à la conception détaillée des traitements Data.


Rédiger les spécifications fonctionnelles générales et détaillées.


Développer des traitements Spark / Scala.


Manipuler les données raffinées du Datalake selon les règles métiers décisionnelles définies.


Contribuer à la formalisation des plans de tests.


Réaliser les tests unitaires et les premiers tests d?intégration.


Analyser et corriger les anomalies en phase d?intégration fonctionnelle et de recette utilisateur.


Préparer le packaging des traitements.


Déployer les composants en préproduction et en production.


Optimiser les traitements afin de garantir les standards de qualité de service.


Mettre en ?uvre des solutions industrielles et de réentrance pour sécuriser la reprise des traitements en cas d?incident de production.


Participer à la mise en service et accompagner le déploiement.


Assurer le suivi des environnements.






Stack / environnement

Big Data :

Spark, Scala, Hadoop, Datalake



Datawarehouse :

Exadata, alimentation de Datawarehouse communautaire



Base de données :

Oracle



Industrialisation :

Packaging, déploiement préproduction / production, réentrance des traitements



DevOps / versioning :

GitLab



Contexte projet :

Business Intelligence, Big Data, traitements décisionnels, règles métiers Data



Environnement complémentaire apprécié :

Apache Mesos



Qualité de service :

Optimisation des traitements, suivi des environnements, reprise sur incident






Candidature

Vous souhaitez contribuer à un projet structurant de Business Intelligence & Big Data, autour de traitements Spark / Scala, Datalake Hadoop et Datawarehouse Exadata ?




Merci de postuler directement.



Profil candidat:
Profil recherché

Expérience confirmée en ingénierie Data, Big Data ou développement de traitements décisionnels.


Plus de 5 ans d?expérience sur Spark et Scala.


Bonne maîtrise du développement de traitements Data dans des environnements Big Data.


Expérience dans la manipulation de données issues d?un Datalake.


Bonne compréhension des architectures Hadoop et Datawarehouse.


Connaissance nécessaire de GitLab.


Connaissance nécessaire d?Oracle.


Connaissance d?Apache Mesos appréciée.


Capacité à rédiger des spécifications fonctionnelles générales et détaillées.


Capacité à contribuer aux plans de tests, aux tests unitaires et aux tests d?intégration.


Capacité à analyser et résoudre les anomalies en phase d?intégration et de recette.


Sens de l?industrialisation, de l?optimisation et de la qualité de service.


Rigueur, autonomie et capacité à travailler en coordination avec les différentes parties prenantes projet.