Expert spark data engineer h/f (it) / freelance

Nous poursuivons notre développement et recherchons actuellement un(e) Expert Spark Data Engineer H/F pour intervenir chez un de nos clients.




Contexte :


La mission s’inscrit dans le cadre d’une solution de traitement de données à des fins de statistiques et de Business Intelligence.

Vous interviendrez sur une architecture Data moderne reposant notamment sur Kafka Connect, Spark, Kubernetes et MongoDB, avec des enjeux de volumétrie importants :

* 350 bases de données
* 5 000 requêtes par seconde
* 1 To de données par an

L’objectif est de réaliser un audit technique et de proposer des axes d’optimisation de la plateforme existante.




Votre mission :


Au sein d'une équipe projet, vous serez en charge de :




- Réaliser un audit et un état des lieux technique de l’existant

- Identifier les axes d’amélioration des traitements Spark (batch et streaming)

- Optimiser les performances pour les flux temps réel

- Définir les recommandations de dimensionnement de l’infrastructure

- Proposer des améliorations sur MongoDB (modélisation et structuration des données)

- Rédiger un document d’architecture cible et de préconisations



Profil candidat:

Votre Profil & l’Environnement technique dans lequel vous évoluerez :




- Expertise avancée sur Apache Spark

- Bonne maîtrise de MongoDB

- Expérience sur OVH Cloud

- Solide connaissance de Kafka / Kafka Connect

- Expérience en déploiement de Spark sur Kubernetes

- Capacité à mener des missions d’audit, d’analyse et de recommandation

- Environnement : Spark, Kafka, Kubernetes, MongoDB, Cloud OVH




Quelques infos importantes à retenir :




- Expérience de 10 ans minimum sur un poste similaire

- 2 jours de télétravail par semaine

- Date de démarrage : ASAP

- Type de contrat : CDI, Freelance, Portage salarial




Situation géographique : Rennes (35000)