Data engineer (it)

Nous recherchons pour l'un de nos clients, un(e) Data Engineer afin de concevoir, construire, tester et maintenir les chaines de traitement de données.

A ce titre, vos principales missions seront les suivantes :
- Participer à la définition des solutions.
- Déployer, intégrer et administrer les chaines de traitement de données sous Linux.
- Automatiser la livraison, la supervision et l'accès aux datasets sur notre infrastructure privée.
- Réaliser la Documentation et contribuer à la rédaction du modèle de responsabilité partagée pour chaque technologie (« shared responsibility model »).
- Apporter son expertise technique pour la résolution des incidents N2 et N3.
- Automatiser et documenter l'exploitation des chaines de traitement de données.
- Proposer les évolutions techniques des pipelines.
- Garantir au quotidien la livraison, la disponibilité et l'intégrité des données.
- Réaliser la planification
- Faire des Astreintes sur le périmètre de l'équipe (Big data, Kubernetes et bases de données)



Profil candidat:
- Diplôme Bac +4 ou Bac +5 minimum en science des données, intelligence artificielle, mathématiques appliquées ou discipline équivalente.
- Expériences et expertises opérationnelles recherchées :
- Run et build de pipelines de données de production
- Gestion des incidents de production (plateforme, sécurité, retard de livraison de données, corruption de données, etc.)


Qualités essentielles :
-Capacité à apprendre
- Appétence pour les aspects fonctionnels et métiers de Monaco Telecom
- Capacité d'écoute et d'analyse du besoin des clients et des utilisateurs
- Sens de la priorité clients et des utilisateurs
- Autonomie
- Esprit d'analyse et sens de l'initiative
- Force de proposition
- Esprit d'équipe
- Niveau d'anglais technique
- Savoir prioriser son travail dans un environnement sous pression
- Toute expérience sur un poste similaire est un gros plus


- Maîtrise de :
- CI/CD/CD (Gitlab)
- Pyspark / spark
- SQL
- Linux
- Bases de données (RDBMS & NoSQL)
- Kafka
- Hive/Impala/PrestoDB/Trino/Nessie(gestion des données)
- Spark (développement, optimisation et opérations)
- Principes architecture big data & Hadoop
- Réseaux (savoir débugger des flux)


- Connaissances qui sont un gros plus :
- Kubernetes, pour le déploiement d'application Spark sur K8S
- Trino
- Infrastructure as code (Ansible, Terraform est un plus)
- Apache Icerberg ou autre framework de delta tables
- Hive Metastore
- S3
- MariaDB (Galera cluster) et PostGreSQL
- MongoDB
- OLLAMA
- MIG K0S