ContexteAu sein d'un environnement défense à fortes contraintes (sécurité, traçabilité, disponibilité), vous intégrez une équipe data en charge de construire et fiabiliser une plateforme de données et des pipelines industrialisés pour des cas d'usage à fort impact opérationnel.Vos missions Concevoir et développer des pipelines d'ingestion / transformation robustes (batch et selon besoin, streaming).Industrialiser l'orchestration (planification, dépendances, relances, SLA) via un orchestrateur type Airflow.Traiter et transformer la donnée à l'échelle via Spark / PySpark (performance, partitionnement, optimisation).Structurer les couches de transformation et la qualité des données avec une approche "data products" (tests, documentation, règles de qualité), potentiellement via dbt si pertinent.Mettre en place l'observabilité : logs, métriques, alerting, dashboards, suivi de qualité et traçabilité.Contribuer aux choix d'architecture (formats, stockage, modèles, conventions, outillage), en gardant en tête les contraintes sécurité / conformité.Travailler en transverse avec les équipes logiciel, infra et cyber (revues, durcissement, bonnes pratiques).Environnement techniqueOn s'aligne sur des briques éprouvées data engineering modernes; le mix exact dépendra de l'archi projet, mais l'ADN reste : Python / industrialisation / data platform.Langages : Python (expert), SQLOrchestration : Apache Airflow (DAGs, scheduling, monitoring)Processing : Apache Spark / PySpark (batch + éventuel streaming)Transformation : dbt (optionnel mais très apprécié)Data stack : formats colonne (Parquet), lake/lakehouse (selon contexte), API / fichiers / basesOps : Git, CI/CD, Docker (Kubernetes apprécié), tests (pytest), qualité (Great Expectations apprécié)Monitoring : Grafana/Prometheus/ELK
En cliquant sur "JE DÉPOSE MON CV", vous acceptez nos CGU et déclarez avoir pris connaissance de la politique de protection des données du site jobijoba.com.