Qui sommes-nous ?
Depuis près de 20 ans, agap2 acteur européen de conseil en ingénierie et des services numériques, accompagne le monde industriel dans la réalisation de ses projets les plus complexes et les plus innovants. Grâce à cette relation pérenne et suite aux besoins de nos partenaires de se faire accompagner sur leurs projets IT et digitaux, agap2IT est né. Agap2IT est donc une marque spécialisée dans les projets informatiques et digitaux du secteur industriel, des services et la finance. Contexte du poste
Dans le cadre de projets data à fort volume et à forte criticité, agap2IT recherche un Data Engineer spécialisé Airflow pour intervenir chez des clients grands comptes, au sein d'environnements data industrialisés et internationaux.
Missions principales
Concevoir, développer et maintenir des pipelines de données avec Apache Airflow
Orchestrer des flux batch et event-driven à grande échelle
Garantir la qualité, la fiabilité et la performance des traitements data
Intégrer des données provenant de sources multiples (SI internes, APIs, fichiers)
Mettre en oeuvre les bonnes pratiques de monitoring, logging et reprise sur incident
Optimiser les temps de traitement et la gestion des dépendances
Collaborer avec les équipes Data, Dev, Ops et Métiers
Documenter les pipelines et participer à l'amélioration continue de la plateforme data
Environnement technique
Orchestration : Apache Airflow (Docker / Kubernetes)
Langages : Python, SQL
Data : Data Lake, Data Warehouse
Cloud : AWS (S3, Glue, EMR, Redshift, Lambda - selon contexte)
Traitements : Spark / PySpark
CI/CD : GitLab CI / Jenkins
Systèmes : Linux
Monitoring : Airflow UI, Prometheus, Grafana
En cliquant sur "JE DÉPOSE MON CV", vous acceptez nos CGU et déclarez avoir pris connaissance de la politique de protection des données du site jobijoba.com.