Ingénieur prod data / dataops engineer (pas de profils data engineer / data scientist)

LOMEGARD est une société de conseil spécialisée dans les métiers de l'IT qui propose trois offres transverses : PROJECT, SOFTWARE et INFRASTRUCTURE.
Nous accompagnons nos clients dans leurs projets de transformation digitale et d'innovations en créant un environnement de travail plus respectueux pour la planète.
Chiffres clés :

- Fondée en septembre 2023
- Déjà près de 40 LOMEGARDIENS
- 2,5 million de CA en 2024 (prévision de près de 4 millions en 2025)
- 10 clients grand comptes
Visitez notre site pour en savoir plus.
May LOMEGARD be with you !
Pour l'un de nos clients nous recherchons un(e) Ingénieur de Prod Data, qui sera amené à intervenir à l'intersection des enjeux Infra DevOps sur AWS et Big Data, et collaborera en étroite synergie avec l'architecte cloud, le tech lead et les data engineers.
Les principales missions sont les suivantes :
Administration de la plateforme Data et de ses outils

- Administrer les composants Dataiku et CloudBeaver de la plateforme (installation, configuration, monitoring, backup, montées de version…)
- Faire évoluer et gérer le maintien en conditions opérationnelles de l'environnement analytics et data science axé sur Dataiku (DSS, Fleet Manager, Spark sur EKS)
- Accompagner les utilisateurs sur les best practices et l'industrialisation des projets métiers
Support et expertise technique

- Résoudre les incidents impactant les plateformes
- Conseiller les équipes du Data Office (Data engineers / Data scientists / Data analysts / BI engineer) sur les choix d'implémentation (architecture et technologie)
- Réaliser des audits techniques, des analyses de performance (requêtes SQL, jobs Spark, fonctions Lambda, entraînement modèles ML, …) ou des PoC.
Evolution de l'infrastructure :

- Evaluer l'infrastructure actuelle et proposer si besoin une stratégie de modernisation progressive des composants legacy (IaaS) vers des solutions cloudnatives (PaaS/SaaS/Serverless), en intégrant les pratiques DevOps (IaC, CI/CD, automatisation) et FinOps
- Développer et implémenter les nouveaux patterns d'acquisition et de traitement de données (micro-batch, streaming, event-driven, transactionnel)
Ce poste nécessite des compétences en architecture de données et environnement cloud AWS avec un minimum de 5 années d'expérience dans un contexte de grande volumétrie de données.
Compétences techniques :

- Maîtrise avancée de l'environnement AWS
- Services d'interrogation de données et de métadonnées (Athena, Glue DataCatalog)
- Services de compute sur AWS (EC2, Lambda, EKS)
- Plateformes de gestion de conteneurs (EKS, ECR)
- Frameworks de traitements distribués (Spark sur EMR) et d'analyse en temps réel(Kinesis, MSK)
- Solutions de gestion de la sécurité AWS (IAM, KMS, ACM, LakeFormation, etc).
- Maîtrise de la plateforme Dataiku DSS et intégration aux services AWS (Glue, S3, Athena, EKS, …)
- Maîtrise des solutions d'orchestration de flux de données (Airflow)
- Maîtrise de GitLab CI pour l'automatisation des déploiements, avec Terraform et Packer
- Bonnes pratiques des techniques de conception d'architecture (données & infrastructure), de modélisation et d'observabilité sur les données
- Langages : SQL, Python principalement, Bash/Shell (scripts d'automatisation, orchestration)
Compétences relationnelles :

- Qualités rédactionnelles notamment pour enrichir et maintenir la documentation (docs Word, wiki Confluence, diagrammes DrawIO, etc.)
- Collaboration quotidienne et participation aux rituels Agile / Scrum (surveillance du RUN, )
- Communication et vulgarisation technique auprès d'équipes tech et non-tech
Expérience recherchée :

- + 5 ans d'expérience en architecture de données en environnement Cloud
- + 5 ans d'expérience sur AWS, dont 3 ans sur les services Data & Analytics
- Expérience avérée en exploitation de plateforme AWS
- Bonne connaissance des frameworks de traitements distribués (idéalement Spark sur EMR) et d'analyse en temps-réel (idéalement Kinesis, MSK)
- Maîtrise de GITLAB CI avec Terraform
- Maîtrise de l'exploitation DSS idéalement sur intégration avec AWS
- Expérience en environnement agile Scrum et dans des équipes pluridisciplinaires
- Les certifications AWS sont un plus mais non mandatory