Dans le cadre de l’évolution d’une plateforme de traitement de données à forte volumétrie, nous recherchons un Expert Data Engineer Spark pour intervenir sur un environnement Big Data en production.
La solution repose sur une architecture moderne intégrant Kafka Connect, Spark, Kubernetes et MongoDB, déployée sur une infrastructure cloud.
Volumétrie cible :
• 350 bases de données
• 5 000 requêtes / seconde
• 1 To de données / an
Missions
• Réaliser un audit technique de l’architecture existante
• Analyser les performances et les limites du système
• Proposer des préconisations d’amélioration sur :
• le streaming temps réel (Spark Streaming)
• le dimensionnement de l’infrastructure
• l’optimisation de MongoDB (modélisation, structuration des données)
• Définir une architecture cible
• Produire un document de recommandations détaillé
• Contribuer à l’amélioration des performances, de la scalabilité et de la robustesse globale
Environnement technique
• Apache Spark (Streaming)
• Kafka / Kafka Connect
• Kubernetes
• MongoDB
• Cloud OVH
Votre profil
• Expert Data Engineer avec forte expérience en Big Data / streaming
• Excellente maîtrise de Spark et des architectures temps réel
• Expérience en déploiement Spark sur Kubernetes
• Bonne connaissance de MongoDB (modélisation et performance)
• Expérience en environnements cloud (OVH ou équivalent)
• Capacité à intervenir en audit, conseil et architecture
Vos compétences
• Apache Spark
• Kafka / Kafka Connect
• MongoDB
• Kubernetes
• Cloud (OVH idéalement)
Pourquoi devenir un Talent MINT-Conseil ? :
* Pour travailler sur des projets stratégiques et innovants.
* Pour être toujours incité à être force de proposition.
* Pour intégrer une entreprise qui s'occupe de ses Talents.
* Pour rejoindre un programme de Mentorat.
* Pour être accompagné dans le développement de vos compétences pour devenir un futur MINT-Leader.
* Pour profiter de locaux modernes et d activités (Afterworks, yoga, stretching, sophrologie, soirées à thèmes ).
Depuis plus de 10 ans nous sommes une société de conseil en Technologies Innovantes et Management de Projets.
Nous proposons à nos clients un accompagnement tout au long du cycle de développement de leurs produits et services.
Le Développement Humain et la Montée en Compétence sont stimulés pour garantir l'épanouissement personnel des Talents MINT-Conseil.
Les consultants sont associés aux comités de pilotage (Offres, Formation, RH ) afin de participer directement à la MINT-Attitude : forcément collaborative et orientée vers le partage des connaissances de l'ensemble de nos Talents.
En cliquant sur "JE DÉPOSE MON CV", vous acceptez nos CGU et déclarez avoir pris connaissance de la politique de protection des données du site jobijoba.com.