Contexte Nous recherchons un Data Engineer pour renforcer une équipe dédiée à l'exploitation et à la valorisation de données environnementales. L'objectif de la mission est de contribuer à l'industrialisation et à l'optimisation des processus d'ingestion, de traitement et de publication d'indicateurs liés aux données scientifiques. Missions principales Conception & développement de pipelines - Développer des scripts et workflows en Python pour récupérer, transformer et stocker des données volumineuses. - Orchestrer les tâches avec Argo, Prefect ou un outil équivalent. Industrialisation & automatisation - Packager les applications dans des conteneurs Docker. - Déployer et faire évoluer les environnements sur Kubernetes (hébergés dans un cloud public). - Mettre en place et maintenir la CI/CD (GitLab CI, Jenkins ou similaire). Maintenance & support - Superviser les pipelines et les services en production. - Gérer les incidents et mettre en oeuvre les correctifs nécessaires. Optimisation & montée en charge - Adapter les architectures pour garantir la scalabilité, la performance et la maîtrise des coûts. - Proposer et mettre en oeuvre des améliorations continues (refactoring, modularisation, tests unitaires et d'intégration). Documentation & transfert de compétences - Rédiger et maintenir la documentation technique (README, runbooks). - Former et accompagner les équipes internes sur les bonnes pratiques Data Engineering et DevOps. Profil recherché Compétences techniques essentielles - Langages : Python expert (polars, xarray, pandas, netCDF4), Dask. - Cloud & infrastructures : expérience sur un cloud public (GCP, AWS ou Azure). - Conteneurisation & orchestration : Docker, Kubernetes. - Orchestration de workflows : Argo, Prefect, ou équivalent. - CI/CD & DevOps : Git, GitLab CI/CD ou Jenkins, gestion des secrets, déploiements automatisés. - Méthodologies : OOP, tests unitaires, GitOps, Infrastructure as Code (Terraform, Helm, etc.). Expérience et formation - Bac 5 en Informatique, Data Science ou Ingénierie. - 2 à 5 ans d'expérience en Data Engineering, idéalement dans un contexte Big Data ou scientifique. - Expérience en gestion de projets en autonomie, du recueil des besoins jusqu'à la mise en production. - Une connaissance du domaine environnemental, scientifique ou climatique est un plus. Qualités personnelles - Rigueur et sens de l'organisation. - Esprit d'équipe et bonnes capacités de communication. - Curiosité et proactivité dans l'adoption de nouvelles technologies. Conditions - Type de contrat : CDI, temps plein. - Localisation : Près de Marseille (télétravail partiel possible).
En cliquant sur "JE DÉPOSE MON CV", vous acceptez nos CGU et déclarez avoir pris connaissance de la politique de protection des données du site jobijoba.com.