Kafka architect h/f

Je recherche actuellement pour mon client un(e)

Senior Kafka Engineer - Kafka Architect (H/F) Contexte

Mon client est une entreprise leader dans le domaine des transactions électroniques et des solutions de paiement. Dans le cadre d'une initiative de transformation stratégique, il met en place un cluster Apache Kafka haute performance destiné à devenir la colonne vertébrale de notre future architecture orientée événements et de streaming de données.

Leurs plateformes sont hébergées sur une infrastructure cloud privée/interne, où la sécurité, la fiabilité et la performance sont essentielles. Nous recherchons un Expert Kafka / Architecte Kafka pour concevoir, déployer et garantir l'excellence opérationnelle de cette infrastructure Kafka - tout en accompagnant les équipes internes par le partage de connaissances.

Description

Vous serez responsable de la mise en oeuvre et de la gestion de bout en bout d'un cluster Kafka adapté aux besoins d'une plateforme transactionnelle critique à haute disponibilité. Vous jouerez également un rôle clé dans le transfert de connaissances et de bonnes pratiques auprès des équipes internes.

Responsabilités principales

- Architecture & Conception

* Concevoir et mettre en oeuvre un cluster Kafka sécurisé, évolutif et hautement disponible
* Définir les stratégies de dimensionnement, de partitionnement et de réplication appropriées
* Intégrer Kafka dans l'environnement cloud privé et notre écosystème interne

- Déploiement & Opérations

* Déployer des clusters Kafka dans un environnement de production basé sur Red Hat Linux
* Mettre en place une stack complète d'observabilité (métriques, logs, traçabilité - Prometheus, Grafana, etc.)
* Implémenter des mécanismes d'alerte, de vérification de l'état de santé et de reprise après sinistre

- Performance & Stabilité

* Optimiser les composants Kafka pour un débit élevé et une faible latence
* Gérer et ajuster les producteurs/consommateurs, brokers et zookeeper/KRaft
* Diagnostiquer et résoudre de manière proactive les goulets d'étranglement ou les problèmes opérationnels

- Sécurité & Conformité

* Configurer l'authentification (SSL/SASL), l'autorisation (ACLs) et le chiffrement
* Veiller à ce que les données et l'infrastructure soient conformes aux réglementations internes et sectorielles

- Partage de connaissances

* Former et accompagner les équipes internes DEVOPS et applicatives
* Fournir de la documentation, des guides opérationnels et les meilleures pratiques Kafka