Pour l'un de nos clients nous recherchons un(e) Ingénieur de Prod Data, qui sera amené à intervenir à l?intersection des enjeux Infra DevOps sur AWS et Big Data, et collaborera en étroite synergie avec l?architecte cloud, le tech lead et les data engineers.
Les principales missions sont les suivantes :
Administration de la plateforme Data et de ses outils
Administrer les composants Dataiku et CloudBeaver de la plateforme (installation, configuration, monitoring, backup, montées de version?)
Faire évoluer et gérer le maintien en conditions opérationnelles de l?environnement analytics et data science axé sur Dataiku (DSS, Fleet Manager, Spark sur EKS)
Accompagner les utilisateurs sur les best practices et l?industrialisation des projets métiers
Support et expertise technique
Résoudre les incidents impactant les plateformes
Conseiller les équipes du Data Office (Data engineers / Data scientists / Data analysts / BI engineer) sur les choix d?implémentation (architecture et technologie)
Réaliser des audits techniques, des analyses de performance (requêtes SQL, jobs Spark, fonctions Lambda, entraînement modèles ML, ?) ou des PoC.
Evolution de l?infrastructure :
Evaluer l'infrastructure actuelle et proposer si besoin une stratégie de modernisation progressive des composants legacy (IaaS) vers des solutions cloudnatives (PaaS/SaaS/Serverless), en intégrant les pratiques DevOps (IaC, CI/CD, automatisation) et FinOps
Développer et implémenter les nouveaux patterns d?acquisition et de traitement de données (micro-batch, streaming, event-driven, transactionnel)
Profil candidat:
Ce poste nécessite des compétences en architecture de données et environnement cloud AWS avec un minimum de 5 années d?expérience dans un contexte de grande volumétrie de données.
Compétences techniques :
Maîtrise avancée de l?environnement AWS
Services d?interrogation de données et de métadonnées (Athena, Glue DataCatalog)
Services de compute sur AWS (EC2, Lambda, EKS)
Plateformes de gestion de conteneurs (EKS, ECR)
Frameworks de traitements distribués (Spark sur EMR) et d?analyse en temps réel(Kinesis, MSK)
Solutions de gestion de la sécurité AWS (IAM, KMS, ACM, LakeFormation, etc).
Maîtrise de la plateforme Dataiku DSS et intégration aux services AWS (Glue, S3, Athena, EKS, ?)
Maîtrise des solutions d?orchestration de flux de données (Airflow)
Maîtrise de GitLab CI pour l?automatisation des déploiements, avec Terraform et Packer
Bonnes pratiques des techniques de conception d?architecture (données & infrastructure), de modélisation et d?observabilité sur les données
Langages : SQL, Python principalement, Bash/Shell (scripts d'automatisation, orchestration)
Compétences relationnelles :
Qualités rédactionnelles notamment pour enrichir et maintenir la documentation (docs Word, wiki Confluence, diagrammes DrawIO, etc.)
Collaboration quotidienne et participation aux rituels Agile / Scrum (surveillance du RUN, ...)
Communication et vulgarisation technique auprès d?équipes tech et non-tech
Expérience recherchée :
+ 5 ans d'expérience en architecture de données en environnement Cloud
+ 5 ans d'expérience sur AWS, dont 3 ans sur les services Data & Analytics
Expérience avérée en exploitation de plateforme AWS
Bonne connaissance des frameworks de traitements distribués (idéalement Spark sur EMR) et d?analyse en temps-réel (idéalement Kinesis, MSK)
Maîtrise de GITLAB CI avec Terraform
Maîtrise de l?exploitation DSS idéalement sur intégration avec AWS
Expérience en environnement agile Scrum et dans des équipes pluridisciplinaires
Les certifications AWS sont un plus mais non mandatory
En cliquant sur "JE DÉPOSE MON CV", vous acceptez nos CGU et déclarez avoir pris connaissance de la politique de protection des données du site jobijoba.com.