Data engineer apache nifi/sql/json/xml/api (it)

Objectif de la missionDans le cadre du déploiement d?une plateforme Data destinée à centraliser, fiabiliser et gouverner l?ensemble des données des domaines banque et assurance, vous intégrez la squad Data Flux. Cette équipe, composée de trois développeurs Data, d?un architecte technique, d?un Business Analyst et d?un Product Owner, est responsable des missions suivantes : la conception et l?implémentation des flux de données, l?intégration et la transformation de données provenant de sources multiples, la sécurisation et l?industrialisation des flux, en conformité avec les standards attendus en matière de qualité et de traçabilité. Une expérience dans les secteurs de l?assurance, de la banque ou de la finance est vivement recommandée, notamment sur des développements de flux conformes à la norme Penelop, ainsi que sur des flux de données liés aux domaines assurantiels ou aux données clients. - Conception et développement de pipelines de données : Concevoir des flux robustes et évolutifs pour l?ingestion, la transformation et la diffusion des données dans le cadre du modèle Bronze / Silver / Gold. - Développement et intégration sur Apache NiFi : Implémenter et paramétrer des workflows NiFi pour collecter et normaliser les données issues de différentes sources (fichiers XML/CSV, API REST). - Transformation et modélisation des données : Participer à la modélisation du socle de données structurées et au développement des transformations afin de constituer les vues consolidées du MDM. - Contrôles de qualité et traçabilité : Mettre en place des mécanismes d?audit, de logs et de contrôle (complétude, unicité, cohérence, versioning des données). - Optimisation et performance : Surveiller les performances des pipelines, identifier les goulots d?étranglement et proposer des améliorations continues. - Sécurité et conformité : Veiller à la sécurité des données (authentification, chiffrement, gestion des accès) dans le cadre des standards du groupe. - Documentation et partage de connaissances : Documenter les processus, les schémas et les bonnes pratiques afin d?assurer la maintenabilité et la transmission des savoirs au sein de la squad. PREREQUIS TECHNIQUES : - Maîtrise d?Apache NiFi (ingestion, orchestration, monitoring) - Solides connaissances en SQL et modélisation de données relationnelles (PostgreSQL) - Connaissance des modèles de stockage objet (S3, Blob) - Connaissance des formats et protocoles : JSON, XML, CSV, REST API - Compétences en scripting (Python, Bash) appréciées - Sensibilité aux enjeux de qualité, sécurité et gouvernance des données Compétences Techniques : SQL, Python, Bash, Gitlab