Data engineer / référent etl & flux (h/f)

RESPONSABILITÉS :

Description des missions: Data Engineer / Référent ETL & Flux (H/F)

Dans le cadre du développement dynamique du pôle DATA, le Data Engineer aura un rôle clé dans la construction et l'optimisation des flux de données inter-systèmes.

Missions principales:

- Concevoir, développer et maintenir des flux de données variés (ETL, API, fichiers, SQL).

- Gérer les interfaces techniques entre l'ERP, le DataMart, et les outils métiers, IoT ou tiers.

- Maintenir une cartographie technique des flux et des dépendances, garantissant la compréhension et la traçabilité.

- Assurer la qualité, la traçabilité et la robustesse des traitements automatisés, contribuant ainsi à la fiabilité globale des systèmes.

- Participer activement à l' architecture du système data, en prenant part à l'ingestion, à la transformation et à l'exposition des données.

- Mettre en œuvre les meilleures pratiques de sécurisation et de surveillance des pipelines, permettant une gestion proactive des risques.

- Contribuer à l'élaboration de la stratégie de gouvernance technique des données, pour un usage éthique et optimal des ressources.

Activités et responsabilités associées:

- Développer et gérer des processus ETL/ELT en utilisant des technologies telles que Talend, DataFactory, ou SSIS.

- Intégrer des flux de données via différentes méthodes (API REST, fichiers plats, FTP/SFTP, bases de données).

- Automatiser les traitements, en mettant en place ordonnancements, alerting et redondance.

- Surveiller quotidiennement les flux critiques, gérer les erreurs et coordonner les redémarrages nécessaires.

- Collaborer de manière proactive avec les équipes ERP pour les extractions de données et les synchronisations.

- Documenter rigoureusement chaque flux (sources, cibles, fréquence, règles métiers).

- Optimiser les performances des traitements, qu'ils soient batch ou en temps réel.

- Participer aux choix d'outils et à l'évolution de l'architecture data, favorisant l'innovation continue.

Relations internes et externes:

- Collaborer étroitement avec le Responsable DATA, le Data Analyst, ainsi que les équipes ERP et infrastructure.

- Établir des relations solides avec des partenaires externes, comme des intégrateurs et des prestataires techniques.

Ce poste en contrat à durée indéterminée, avec la possibilité de travailler à distance, est une occasion de prendre part à un projet d'envergure au sein d'une équipe soudée. Le siège est situé à Paris 16°.

PROFIL RECHERCHÉ :

Ce poste requiert une expertise pointue dans le domaine des flux de données et des outils ETL.

Compétences technique:

- Maîtrise des outils ETL/ELT : expertise dans l'utilisation de solutions comme Talend, Azure Data Factory, SSIS, ou équivalents pour l'extraction, la transformation et le chargement des données.

- Connaissances en SQL : solide compréhension des bases de données et capacité à manipuler des requêtes complexes.

- Architecture des données : compréhension approfondie des concepts de DataMart, Datalake ainsi que des pipelines de données.

- Formats de données et API : connaissances robustes en gestion des formats variés (JSON, XML, CSV) et en intégration d'API REST/SOAP.

- Gestion des logs : aptitude à gérer les logs pour assurer un suivi efficace des processus.

Savoir-faire:

- Développement de flux : capacité à concevoir, développer et maintenir des flux de données fiables, documentés et performants.

- Optimisation des processus : identification proactive des points de rupture ou de lenteur dans les traitements de données.

- Modélisation : compétence dans la modélisation des schémas de flux et documentation de l'architecture technique pour une meilleure lisibilité et compréhension.

- Industrialisation : expérience dans l'automatisation des flux à l'aide de scripts, ordonnanceurs et triggers pour garantir un processus fluide et efficace.

Savoir-être:

- Rigueur et autonomie : apprécier le travail ciblé et structuré, tout en étant capable de prendre des initiatives.

- Communication : excellentes capacités relationnelles pour échanger efficacement avec des équipes fonctionnelles et techniques.

- Esprit d'équipe : attitude collaborative avec une forte sensibilité à l'entraide dont fait preuve le pôle.

- Curiosité technique : intérêt marqué pour les innovations et la fiabilité des données, avec une volonté d'apprendre et de se perfectionner.

Profil idéal:

- Formation: diplôme de niveau Bac+3 à Bac+5 en Informatique, Data Engineering, Développement ou domaine équivalent.

- Expérience: minimum de 3 à 5 ans d'expérience sur des sujets liés à l'ETL, à l'intégration ou au développement de flux de données.

- Connaissance des ERP : la compréhension du fonctionnement des systèmes ERP, notamment JDE, est un atout apprécié.

- Langue: niveau d' anglais technique lu et écrit.

Rejoindre ce poste offre l'opportunité de faire partie d'une dynamique d'...