Data engineer

Data Engineer H/F/N

Au sein de votre équipe #OneTeam

1. Vous rejoindrez l'équipe Data Processing Engine de l'unité Analytics.
2. Notre mission est de proposer un catalogue exhaustif de connecteurs afin de collecter, transformer et raffiner les données, en proposant des outils de Data Engineering.
3. Vous serez principalement responsable de la construction, de la maintenance et de l'optimisation de solutions de données distribuées, contribuant à la fiabilité, l'évolutivité et la sécurité de notre écosystème de plateforme de données.

Vos principales responsabilités

4. Concevoir, implémenter et optimiser des systèmes de traitement de données distribuées comme Apache Spark.
5. Construire et maintenir des connecteurs, en assurant l'intégrité, la sécurité et un accès performant aux données.
6. Développer, deployer et maintenir une solution robuste grâce à des pipelines d'automatisation CI/CD, dans des langages tels que Python & Golang.
7. Surveiller et améliorer les performances des systèmes de données, notamment l'optimisation des connecteurs et la gestion des ressources.
8. Garantir un niveau d'excellence en suivant les recommandations idiomatiques et de code analysis/coverage du marché.
9. Rédiger et maintenir une documentation technique complète pour soutenir le transfert de connaissances au sein de l'équipe et se conformer aux normes de certification.

Votre futur impact

Dans 6 mois vous aurez

10. Créé et optimisé un connecteur pour enrichir notre catalogue afin de répondre à de nouveau besoin clients.
11. Participé au design collaboratif d'une nouvelle solution de gestion des workflow de données ou amélioration de l'actuelle.
12. Contribué à l'amélioration continue du système d'observabilité du Data Processing Engine de la Data Platform.

#

Compétences requises :

13. Vous avez une bonne connaissance des concepts de données distribuées, d'orchestration et de Data de manière transverse.
14. Vous justifiez d'au moins une expérience professionnelle avec les technologies de Apache Spark et d'écosystème API microservices.
15. Vous êtes confirmé/e dans le développement (Python/Golang...).
16. Vous êtes en capacité d'analyser et surveiller les indicateurs de performance.
17. Vous avez une appétence pour la recherche et la résolution de problèmes complexes dans de larges environnements.
18. Vous êtes sensible aux concepts DevOps, d'observabilité et de maintien en condition opérationnelles dans un environnement de production.

C'est un +

19. Vous assurez et promouvez une veille sur les technologies et la compétition.
20. Vous justifiez d'une expérience de maintien en condition opérationnel d'un système à grande échelle.