Architecte applicatif kafka - expert - freelance

Description du poste


Contexte

Historiquement décentralisé et hétérogène, l'équipe évolue vers un modèle de plateformes mutualisées pour améliorer la gouvernance et harmoniser les usages. L'objectif est de passer d'une gestion d'infrastructure à une approche « Produit », où Kafka devient un service fluide, gouverné et optimisé pour l'ensemble du groupe.

Dans une équipe composée de 2 ingénieurs DevOps Kafka (5 ingénieurs à partir de septembre), en tant qu’architecte applicatif Kafka, la mission principale est d'accompagner cette transformation.


Missions

Architecture et stratégie

* Définir et porter l’architecture cible de Kafka

* Concevoir le modèle de Mutualized Cluster et l'offre Topic as a Service

* Établir la roadmap technique en cohérence

Expérience utilisateur

* Définir avec les utilisateurs et la communauté d'ingénieurs les usages sur Kafka

* Définir les parcours utilisateurs en adéquation avec les cas d’usages

Delivery et expertise technique

* Implémenter les nouvelles fonctionnalités dans la stack technique digitale (3S)

* Assurer la migration transparente des environnements vers les dernières versions (3.9 et +)

* Développer et maintenir les composants de l'écosystème (Java, Python, Terraform)

Gouvernance et leadership

* Contribuer activement à la gouvernance globale (TechRadar, Matrice de maturité…)

* Évangéliser les bonnes pratiques au sein de la communauté d'ingénieurs

* Suivre l'analyse des coûts (FinOps) pour driver l'optimisation des ressources


Outils & Environnement

* Kafka et les outils périphériques (Kafka Connect, Kafka MirrorMaker, Kafka UI...)

* Cloud : GCP, AWS, Aiven

* Développement : Java, Python

* Tooling : Github, Github Actions, Kubernetes, Terraform, Flux

* Outils collaboratifs : Confluence, Jira

* Monitoring : Datadog


Objectifs et livrables

* Définition de l'architecture technique cible

* Définition des bonnes pratiques sur Kafka

* Contribution à la définition des règles de gouvernance

* Participation active à la communauté « SIG Streaming »

* Définition des objectifs de l’équipe, définition et suivi de la roadmap

* Conseil et accompagnement des équipes utilisatrices de Kafka

* Développement des composants dans l'écosystème Kafka et maintien des composants existants (Java, Terraform, Python...)

* Suivi des coûts d'usage de Kafka et proposition d’optimisations #finops

* Accompagnement et montée en compétence de l'équipe sur Kafka, faire le lien avec l'API Management

* Partage des nouveautés et bonnes pratiques autour du data streaming #veille


Conditions de travail

* Localisation : Lille


Profil recherché

1. Expertise Kafka dont Kafka Connect, MirrorMaker, et idéalement l'opérateur Strimzi
2. Développement en Java pour la maintenance de certains composants
3. Culture Cloud & Automation : Maîtrise des environnements cloud (GCP, AWS, Aiven) et du GitOps (Terraform, Flux)
4. Leadership : capacité à "tracter" des sujets complexes, à convaincre des parties prenantes variées et à vulgariser
5. Esprit “Produit” : une sensibilité forte à l'expérience développeur (DevEx)