Dans le cadre de la création d’une nouvelle Architecture Data, nous recherchons un Data Ingénieur expérimenté. Votre mission principale sera la conception et l’implémentation d’un framework Python permettant d’alimenter et de consommer les données issues de nos partenaires (APIs, brokers de messages, fichiers, flux batch/streaming…). Vous travaillerez en étroite collaboration avec notre Architecte Data ainsi que notre Référent Fonctionnel Data. Missions principales : 1. Conception et développement du framework d’ingestion Concevoir, développer et documenter un framework Python générique permettant : l’ingestion de données depuis diverses sources (APIs, messaging brokers, fichiers, dépôts externes…) et la consommation et l’exposition de données vers les systèmes internes. Mettre en place un ensemble de composants réutilisables (connecteurs, transformations, loaders, orchestrations, validations). 2. Structuration et modélisation des flux de données Analyser les besoins data et définir les modèles de flux adéquats (batch & streaming). Concevoir les pipelines d’ingestion et les organiser entre : -Jobs génériques (patterns communs), -Jobs spécifiques (adaptés aux partenaires ou besoins métier). Garantir la conformité, la qualité et la structuration des datasets produits. 3. Implémentation technique sur une data platform moderne Participer à l’architecture technique et à la mise en œuvre des pipelines sur une plateforme moderne telle que Databricks, Snowflake, BigQuery, Redshift… Contribuer aux bonnes pratiques de développement, de CI/CD et d’infrastructure Data. 4. Supervision, monitoring et observabilité Concevoir et mettre en place une couche de supervision robuste : - Monitoring d’exécution, - Gestion automatique des erreurs, - Alerting, - Suivi de SLA & KPIs d’ingestion. - Assurer la stabilité et la performance des pipelines en production. 5. Participation au cadrage et à la stratégie Data Contribuer à la définition des standards techniques de l’équipe. Aider à structurer les processus d’ingestion et d’exposition des données. Travailler en collaboration avec l’Architecte Data et les Fonctionnels Data afin d’aligner besoins métiers et capacités techniques.
En cliquant sur "JE DÉPOSE MON CV", vous acceptez nos CGU et déclarez avoir pris connaissance de la politique de protection des données du site jobijoba.com.