Contexte du poste Dans le cadre de projets data à fort volume et à forte criticité, agap2IT recherche un Data Engineer spécialisé Airflow pour intervenir chez des clients grands comptes, au sein d'environnements data industrialisés et internationaux. Missions principales Concevoir, développer et maintenir des pipelines de données avec Apache Airflow Orchestrer des flux batch et event-driven à grande échelle Garantir la qualité, la fiabilité et la performance des traitements data Intégrer des données provenant de sources multiples (SI internes, APIs, fichiers) Mettre en oeuvre les bonnes pratiques de monitoring, logging et reprise sur incident Optimiser les temps de traitement et la gestion des dépendances Collaborer avec les équipes Data, Dev, Ops et Métiers Documenter les pipelines et participer à l'amélioration continue de la plateforme data Environnement technique Orchestration : Apache Airflow (Docker / Kubernetes) Langages : Python, SQL Data : Data Lake, Data Warehouse Cloud : AWS (S3, Glue, EMR, Redshift, Lambda - selon contexte) Traitements : Spark / PySpark CI/CD : GitLab CI / Jenkins Systèmes : Linux Monitoring : Airflow UI, Prometheus, Grafana
En cliquant sur "JE DÉPOSE MON CV", vous acceptez nos CGU et déclarez avoir pris connaissance de la politique de protection des données du site jobijoba.com.