Contexte du poste
Dans le cadre de projets data à fort volume et à forte criticité, agap2IT recherche un Data Engineer H/F spécialisé Airflow pour intervenir chez des clients grands comptes, au sein d’environnements data industrialisés et internationaux.
Missions principales
* Concevoir, développer et maintenir des pipelines de données avec Apache Airflow
* Orchestrer des flux batch et event-driven à grande échelle
* Garantir la qualité, la fiabilité et la performance des traitements data
* Intégrer des données provenant de sources multiples (SI internes, APIs, fichiers)
* Mettre en œuvre les bonnes pratiques de monitoring, logging et reprise sur incident
* Optimiser les temps de traitement et la gestion des dépendances
* Collaborer avec les équipes Data, Dev, Ops et Métiers
* Documenter les pipelines et participer à l’amélioration continue de la plateforme data
Environnement technique
Orchestration : Apache Airflow (Docker / Kubernetes)
Langages : Python, SQL
Data : Data Lake, Data Warehouse
Cloud : AWS
Traitements : Spark / PySpark
CI/CD : GitLab CI / Jenkins
Systèmes : Linux
Monitoring : Airflow UI, Prometheus, Grafana
En cliquant sur "JE DÉPOSE MON CV", vous acceptez nos CGU et déclarez avoir pris connaissance de la politique de protection des données du site jobijoba.com.