Description du poste Dans le cadre d'un besoin d'un de ses clients, Visian recherche un Data Engineer. Expertise opérationnelle sur les plateformes Data/IA Challenger et améliorer concrètement les plateformes Dagster (orchestration) et Trino (requêtage distribué) : diagnostiquer les problèmes de performance, optimiser les configurations, revoir les patterns d'utilisation. Concevoir et optimiser les pipelines d'ingestion et de processing de données basées sur Spark : performance des jobs, gestion des volumétries, stratégies de partitionnement et formats de stockage (Delta Lake, Iceberg). Intervenir directement sur les évolutions techniques pour accompagner la montée en charge (volumétrie, nombre d'utilisateurs, complexité des pipelines). Contribuer à la gouvernance technique par la pratique : établir les standards à partir de cas concrets, documenter les décisions techniques. Évaluer et prototyper l'intégration de nouveaux composants dans l'écosystème (formats de stockage, outils de catalogue, moteurs de calcul). Industrialisation & Scalabilité Industrialiser les pipelines Data et IA/ML : fiabilité, observabilité, reproductibilité — en mettant en œuvre soi-même les solutions, pas uniquement en les spécifiant. Concevoir et implémenter les patterns de déploiement et d'exploitation à l'échelle en collaboration avec les équipes support et l'équipe d'ingénierie de production. Mettre en place concrètement les mécanismes de monitoring, d'alerting et de capacity planning adaptés aux workloads Data/IA. Structurer le support de niveau 3 (expertise) et accompagner l'équipe de production sur le support de niveaux 1 et 2. Accompagnement & Montée en compétence Conseiller et accompagner les équipes de développement et de data science dans l'utilisation optimale des plateformes. Assurer un rôle de référent technique opérationnel au sein de l'équipe — par l'exemple et le pair-working, pas uniquement par le conseil. Participer à la veille technologique et réaliser des POCs sur des évolutions pertinentes pour l'écosystème Data/IA. Environnement fonctionnel La prestation se déroulera au sein du service en charge : Des plateformes Data & IA/ML (Dagster, Trino, Delta Lake/Iceberg, Superset, OpenMetadata) Des plateformes Kubernetes (on-prem et Cloud) servant de socle d'hébergement Des outils DevOps (intégration continue, déploiement, observabilité) Des projets de R&D visant à moderniser le SI (POCs, présentations) De l'accompagnement des initiatives IA/ML du groupe Des outils de monitoring Environnement technique Data / Orchestration : Dagster, Trino, Apache Spark, Hive, Delta Lake/Iceberg, Superset, OpenMetadata IA / ML : Workloads IA/ML sur Kubernetes, outils MLOps Hébergement : Kubernetes (Rancher RKE on-prem, AKS Azure), Docker DevOps / Observabilité : ArgoCD, Jenkins, Grafana, Prometheus, Sysdig Langages : Python, Go Versioning / Stockage : GitLab, Artifactory, S3 Livrables attendus Mise en œuvre des sujets précités Recommandations techniques documentées sur Dagster, Trino et autres outils, appuyées sur des diagnostics concrets Plans de scalabilité et roadmap d'évolution du socle Data/IA Profil recherché Compétences indispensables Orchestration de données (Dagster ou équivalent) : Expert Moteur de requêtage distribué (Trino ou équivalent) : Expert Ingestion & processing de données (Apache Spark) : Maîtrise à Expert Écosystème Data/Big Data (Delta Lake/Iceberg, Hive) : Maîtrise à Expert Mise à l'échelle de plateformes Data en production : Expert Python : Maîtrise Systèmes Unix/Linux : Maîtrise Compétences appréciées Conteneurisation (Docker) et orchestration (Kubernetes) : Maîtrise Plateformes cloud (Azure AKS) : Connaissance à Maîtrise Infrastructure as Code et GitOps : Connaissance à Maîtrise Outils MLOps / déploiement de modèles IA : Connaissance Développement applicatif (Go, Java) : Connaissance
En cliquant sur "JE DÉPOSE MON CV", vous acceptez nos CGU et déclarez avoir pris connaissance de la politique de protection des données du site jobijoba.com.