Expert spark data engineer h/f

Nous poursuivons notre développement et recherchons actuellement un(e) Expert Spark Data Engineer H/F pour intervenir chez un de nos clients. Contexte : La mission s’inscrit dans le cadre d’une solution de traitement de données à des fins de statistiques et de Business Intelligence. Vous interviendrez sur une architecture Data moderne reposant notamment sur Kafka Connect, Spark, Kubernetes et MongoDB, avec des enjeux de volumétrie importants : 350 bases de données 5 000 requêtes par seconde 1 To de données par an L’objectif est de réaliser un audit technique et de proposer des axes d’optimisation de la plateforme existante. Votre mission : Au sein d'une équipe projet, vous serez en charge de : - Réaliser un audit et un état des lieux technique de l’existant - Identifier les axes d’amélioration des traitements Spark (batch et streaming) - Optimiser les performances pour les flux temps réel - Définir les recommandations de dimensionnement de l’infrastructure - Proposer des améliorations sur MongoDB (modélisation et structuration des données) - Rédiger un document d’architecture cible et de préconisations Profil candidat: Votre Profil & l’Environnement technique dans lequel vous évoluerez : - Expertise avancée sur Apache Spark - Bonne maîtrise de MongoDB - Expérience sur OVH Cloud - Solide connaissance de Kafka / Kafka Connect - Expérience en déploiement de Spark sur Kubernetes - Capacité à mener des missions d’audit, d’analyse et de recommandation - Environnement : Spark, Kafka, Kubernetes, MongoDB, Cloud OVH Quelques infos importantes à retenir : - Expérience de 10 ans minimum sur un poste similaire - 2 jours de télétravail par semaine - Date de démarrage : ASAP - Type de contrat : CDI, Freelance, Portage salarial Situation géographique : Rennes (35000)