Nous recherchons pour l'un de nos clients, un(e) Data Engineer afin de concevoir, construire, tester et maintenir les chaines de traitement de données. A ce titre, vos principales missions seront les suivantes : - Participer à la définition des solutions. - Déployer, intégrer et administrer les chaines de traitement de données sous Linux. - Automatiser la livraison, la supervision et l'accès aux datasets sur notre infrastructure privée. - Réaliser la Documentation et contribuer à la rédaction du modèle de responsabilité partagée pour chaque technologie (« shared responsibility model »). - Apporter son expertise technique pour la résolution des incidents N2 et N3. - Automatiser et documenter l'exploitation des chaines de traitement de données. - Proposer les évolutions techniques des pipelines. - Garantir au quotidien la livraison, la disponibilité et l'intégrité des données. - Réaliser la planification - Faire des Astreintes sur le périmètre de l'équipe (Big data, Kubernetes et bases de données)
* Diplôme Bac +4 ou Bac +5 minimum en science des données, intelligence artificielle, mathématiques appliquées ou discipline équivalente. - Expériences et expertises opérationnelles recherchées : - Run et build de pipelines de données de production - Gestion des incidents de production (plateforme, sécurité, retard de livraison de données, corruption de données, etc.) - Qualités essentielles : - Capacité à apprendre - Appétence pour les aspects fonctionnels et métiers de Monaco Telecom - Capacité d'écoute et d'analyse du besoin des clients et des utilisateurs - Sens de la priorité clients et des utilisateurs - Autonomie - Esprit d'analyse et sens de l'initiative - Force de proposition - Esprit d'équipe - Niveau d'anglais technique - Savoir prioriser son travail dans un environnement sous pression - Toute expérience sur un poste similaire est un gros plus - Maîtrise de : - CI / CD / CD (Gitlab) - Pyspark / spark - SQL - Linux - Bases de données (RDBMS & NoSQL) - Kafka - Hive / Impala / PrestoDB / Trino / Nessie(gestion des données) - Spark (développement, optimisation et opérations) - Principes architecture big data & Hadoop - Réseaux (savoir débugger des flux) - Connaissances qui sont un gros plus : - Kubernetes, pour le déploiement d'application Spark sur K8S - Trino - Infrastructure as code (Ansible, Terraform est un plus) - Apache Icerberg ou autre framework de delta tables - Hive Metastore - S3 - MariaDB (Galera cluster) et PostGreSQL - MongoDB - OLLAMA - MIG K0S
Créer une alerte emploi pour cette recherche
#J-18808-Ljbffr
En cliquant sur "JE DÉPOSE MON CV", vous acceptez nos CGU et déclarez avoir pris connaissance de la politique de protection des données du site jobijoba.com.