Développeur / développeuse big data (h/f)

PROPULSE IT recherche un Lead Data Ingénieur ayant près de 10 ans d'expérience pour un de ses clients
En tant que Lead Data Engineer, vous travaillerez au sein de l'équipe digitale «?data et performance?», en charge principalement de l'infrastructure data, et du traitement, de l'intégration et de la transformation de la donnée digitale d'Hermès (hermes.com). Vous serez aussi garant·e de sa qualité et sa sécurité et le respect de la vie privée liée à cette donnée. Vous serez rattaché·e au Data Manager et vous animez et pilotez une équipe de 2 Data Engineer au quotidien. Vous travaillerez principalement sur le Cloud de Google (GCP), mais aussi en partie sur le Cloud Amazon (AWS).
Le respect de la vie privée étant au c?ur de de votre travail, vous devrez être conscient des problématiques liées à la GDPR. Des connaissances sur les problématiques liées à l'e-Commerce sont un plus.
Principales Activités?:
Industrialisation de l'infrastructure de la Data Platform sous GCP
- Vous avez pour principale mission d'accompagner l'équipe Data et Performance dans l'industrialisation de sa plateforme data via :
- Mise en place d'environnements dédiés et cloisonnés (Dev / Preprod / Production)
- L'automatisation du déploiement et la maintenance des environnements via des outils d'infrastructure as code (Terraform) sous GCP
- Mise en place de solutions d'observabilités (monitoring, alerting) au sein de GCP

Manipulation/Transformation de données (en batch et stream)
- Vous accompagnerez aussi l'équipe Data dans ses activités de transformation de données via?:
- Maintenance pipelines de données en python (batch et stream)
- Des pipelines de transformation en SQL/SQLX dans l'outil DataForm (similaire à DBT)
- Mise en place et maintenance d'un outil de data quality (ex : great expectations en python)
- Aider au développement des workers dans les Cloud AWS pour récupérer la donnée depuis Kafka et l'envoyer vers PubSub dans GCP.
- La connaissance de l'outil DataFlow (Apache Beam) est un plus.

Collaboration avec les équipes du pole, centrée sur la donnée de qualité
- Standardisation de la base de code de l'équipe (linting, CI/CD, divers tests
- Maintien et réalisation de schémas d'architectures et documentation des processus internes
- Collaboration avec les autres équipes du pôle Data : data analysts, SEO/SEA et emailing
- Aider à la mise en place de bonnes pratiques :
- Anonymisation et archivage de la donnée dans le respect du RGPD et de la politique interne du traitement de données
- Sécurité de l'infra, de la data et du code