Data engineer | aws | databricks

ContexteDans le cadre de la mise en place et de l?évolution d?une plateforme DATA centralisée, nous renforcons son équipe avec un Data Ingénieur confirmé.Cette plateforme permet l?intégration, la mise en qualité et la mise à disposition de données brutes ou retravaillées issues de différents producteurs, afin de répondre à des besoins métiers opérationnels et analytiques à grande échelle.Rôle et responsabilitésDéveloppement et ingestion de donnéesConcevoir, développer et optimiser des jobs d?ingestion et de transformation de données en Python et Spark sur Databricks, avec gestion de gros volumes.Mettre en place et maintenir des flux de données entre sources externes (ex. bases Oracle) et Delta Lake sur AWS S3.Orchestration et supervisionCréer et orchestrer des workflows avec AWS Airflow et automatiser les traitements.Mettre en place des mécanismes de contrôle qualité et de validation des données pour garantir cohérence et fiabilité.Développer des jobs de monitoring pour détecter et corriger automatiquement les anomalies.Maintien en condition opérationnelleAssurer la disponibilité et la performance des jobs en production.Analyser et corriger les incidents et anomalies détectées.Contribution stratégiqueParticiper aux ateliers de conception technique et fonctionnelle.Promouvoir les bonnes pratiques de développement et d?optimisation Big Data.Documenter les processus, architectures et scripts.Compétences techniques requisesMUST :
PythonSparkDatabricksSQLSHOULD :
AWS (S3, Glue, Airflow, CloudWatch, Lambda, IAM)COULD :
Big Data (gestion et traitement de très gros volumes de données)WOULD :
GitMéthodologies et outils :
CI/CD avec GitLabJIRA / ConfluenceMéthodologie agile ScrumProfil candidat:
Compétences techniques requisesMUST :
PythonSparkDatabricksSQLSHOULD :
AWS (S3, Glue, Airflow, CloudWatch, Lambda, IAM)COULD :
Big Data (gestion et traitement de très gros volumes de données)WOULD :
Git