Data engineer dataiku

À propos de SkillsFirst chez NEURONES :
Filiale du groupe NEURONES, SkillsFirst accompagne les entreprises ayant un besoin d'assistance technique par l'intervention de compétences d'experts, notamment dans le domaine de la DATA.
Nos valeurs : Ecoute, Réactivité, Professionnalisme.
Objectifs :
Le bénéficiaire souhaite une prestation d'accompagnement pour le pipeline de traitement des données de l'équipe (suivi de la production des données, maintenance du pipeline, améliorations, intégration des nouveaux besoins).

Contexte :
L'équipe ITG A3I - Data produit des tableaux de bord sur l'usage des outils de la toolchain DevSecOps du Groupe.
Les traitements sont organisés autour d'un pipeline de production : scripts Python pour la collecte, des données via API, bases postgreSQL et COS pour le stockage des données, pipelines Dataiku + SQL pour la préparation / enrichissement des données, Tableau pour la production de tableaux de bord
Un pipeline CICD, permet d'automatiser les déploiements. Il s'appuie sur Gitlab pour la gestion du code, Jenkins et Gitlab CI (cible) pour l'étape de build, Argo CD pour le déploiement,
Un suivi du bon déroulement des jobs, et de leur relance éventuelle est opéré par l'équipe.
L'équipe fonctionne en mode agile, par sprints d'une durée de 15 jours.

Les activités type seront celles d'un Data Engineer :
• Conception et architecture des systèmes de données
• Collecte et intégration des données
• Nettoyage et transformation des données
• Optimisation des performances
• Suivi des traitements, analyse des erreurs et correction de bugs, lancement de traitements de reprises
• Maintenance des systèmes de données et support technique en cas de problèmes en concertation avec l'ingénieur Devops de l'équipe.
• Collaboration avec les data scientist, analystes de données et autres parties prenantes pour comprendre leurs besoins et fournir des solutions adaptées.
• Documentation des travaux réalisés

Une période de recouvrement d'activité aura lieu en début de prestation. Elle permettra d'examiner les pratiques actuelles et de proposer des actions d'amélioration à mettre en oeuvre dans la suite de l a mission.
Autres attendus
• Autonomie
• Force de proposition sur l'amélioration / l'optimisation des traitements existants et la mise en place de bonnes pratiques de développement
• Maitrise de Python, programmation OO et design pattern + gestion de code source Gitlab avec approche Gitflow
• Maitrise de SQL et de Dataiku
• connaissance des processus de développement, test unitaires, recette, mise en production
• Expérience de la gestion et l'utilisation de pipelines CI/CD
• Expérience avec Docker et Kubernetes pour le déploiement et la gestion des applications conteneurisées
• Capacité à analyser les logs et les métriques pour identifier et résoudre les problèmes.