Data engineer – elastic stack expert (it) / freelance

Nous recherchons pour notre client Grand-Compte un Ingénieur Data, Expert ELK pour:

accompagner les besoins et projets sur la collecte, transformation, stockage et mise à disposition des données, provenant de sources diverses en adéquation avec la Stratégie Data


Concevoir et mettre à disposition les outils et processus (CI/CD) permettant d?automatiser les pipelines d?ingestion de données prenant en compte les besoins de fréquences (batch, temps réel, ?)


Développer et déployer des mécanismes de contrôle qualité ainsi que des routines de vérification pour garantir l'intégrité et la fiabilité des données


L?objectif est de passer d?une logique très outillée/infrastructure à une approche orientée usages data & métiers.


Refonte complète de l?offre logs existante (tous types de logs : applicatifs, systèmes, réseau, sécurité)


Forte volumétrie et enjeux de standardisation, qualité et exploitabilité de la donnée



Missions

Concevoir et mettre en ?uvre les chaînes de collecte et d?ingestion des logs


Implémenter et industrialiser les cas d?usage observabilité pour les équipes opérationnelles


Accompagner les équipes métiers et techniques dans l?exploitation des logs


Développer des dashboards et visualisations avancées (Kibana, évolution possible vers Grafana)


Intervenir sur l?ensemble du cycle data :
collecte ? transformation ? stockage ? restitution


Participer à l?évolution de l?offre groupe et à la structuration des bonnes pratiques



Contexte technique

-Kafka

-Scripting Python/SQL/Java

-Suite Elastic (ElasticSearch/Kibana)

-Apache Flink / LogStash

-Agent de collecte (Elastic ou autre Open-Source)



Profil candidat:
Un Data Engineer expert Elastic, orienté observabilité et usages métiers, capable de prendre en charge toute la chaîne data du log (hors infra), d?accompagner les équipes opérationnelles et de contribuer à la refonte stratégique de l?offre log du groupe.

Expertise confirmée sur la Elastic Stack : Elasticsearch, Logstash, Kibana, agents de collecte


Expérience sur des environnements log management à grande échelle


Bonne maîtrise des pipelines data et du streaming (Kafka)


Approche orientée data, usages et valeur métier (non infrastructure)


Capacité à travailler en transverse et à accompagner les équipes