Data engineer senior – azure / python - freelance

Description du poste

Taux journalier (TJM): 670


Missions principales


Ingénierie & Développement

* Concevoir et développer des pipelines de données robustes et performants

* Construire des flux de traitement de données temps réel via Azure Event Hub

* Développer des pipelines batch exploitant les données issues d’Azure Data Lake

* Participer à la conception d’architectures data scalables et maintenables

* Implémenter les traitements de transformation et contextualisation des données en Python

* Garantir la qualité du code via les bonnes pratiques Clean Code, peer-review et tests automatisés


Industrialisation & Performance

* Mettre en place les mécanismes d’observabilité (monitoring, alerting, logging)

* Optimiser les performances des traitements et les coûts d’infrastructure (FinOps)

* Assurer la sécurité, la conformité et la gouvernance des données

* Participer à l’amélioration continue des pipelines et plateformes data


Collaboration & Expertise

* Traduire les besoins métiers en solutions techniques

* Participer activement aux cérémonies Agile

* Apporter une expertise technique lors des phases de conception

* Résoudre les incidents de production et mettre en œuvre des actions préventives

* Contribuer aux échanges techniques transverses et au partage de bonnes pratiques au sein des Chapters


Environnement technique


Cloud & Data Platform

* Microsoft Azure

* Azure Functions

* Azure Data Lake Storage Gen2 (ADLS)

* Azure Event Hub

* Azure Container Instances

* Azure Databricks


Développement & Data Engineering

* Python avancé

* Pandas

* SQL

* Traitements temps réel et batch

* Data transformation & contextualisation


Qualité & DevOps

* Git / GitHub

* Pytest

* Ruff / Black

* CI/CD

* Monitoring & observabilité


Méthodologie

* Agile / Scrum

* Peer review

* Clean Code

* Domain Driven Design (DDD)


Localisation

* Paris

* Présence sur site obligatoire : 3 jours/semaine

* Télétravail : 2 jours/semaine


Profil recherché


Expérience

* Minimum 5 à 8 ans d’expérience en Data Engineering

* Expérience significative sur des environnements Cloud Azure

* Expérience en conception et industrialisation de pipelines de données complexes

* Expérience en environnement Agile à l’échelle


Compétences techniques indispensables


Cloud Azure

* Maîtrise des services Azure Data :

o Azure Functions

o Azure Data Lake Storage Gen2

o Azure Event Hub

o Azure Container Instances

o Azure Databricks

* Bonne compréhension des architectures cloud data orientées scalabilité et performance


Data Engineering

* Excellente maîtrise de Python

* Très bonne maîtrise de Pandas

* Solides compétences SQL

* Expérience des traitements :

o Near Real Time

o Batch

o Streaming

* Construction de pipelines de données industrialisés


Bases de données

* Maîtrise des bases relationnelles

* Bonne connaissance des bases NoSQL


Qualité logicielle

* Mise en œuvre de tests automatisés avec Pytest

* Utilisation des outils de linting et formatting (Ruff, Black)

* Pratique du Clean Code et des revues de code

* Sensibilité DevOps et observabilité


Compétences appréciées

* Connaissances en Data Science

* Expérience FinOps

* Connaissance des problématiques de gouvernance et sécurité des données

* Expérience sur des plateformes data industrielles à fort volume


Soft Skills

* Excellente communication avec les équipes métiers et techniques

* Forte capacité d’analyse et de résolution de problèmes

* Esprit d’équipe et collaboration transverse

* Autonomie et proactivité

* Capacité à évoluer dans un environnement exigeant et international