Dataops platform engineer aws freelance

En quelques mots

Cherry Pick est à la recherche d'un DataOps Platform Engineer AWS pour un client dans le secteur de la finance

Description

Objectifs & responsabilités

* Concevoir, développer et maintenir des composants d’infrastructure as code (IaC) en AWS CDK / Terraform
* Participer à la migration de pipelines existants on-prem (Oracle) vers la plateforme AWS (plus de 200 pipelines à migrer)
* Définir et livrer des blueprints (templates clés en main) pour les équipes Data Engineering (Glue, Athena, Lambda, Fargate, EMR...)
* Maintenir et faire évoluer la plateforme AWS existante selon les besoins
* Automatiser les tâches récurrentes pour accélérer les déploiements et opérations
* Travailler en méthodologie agile SCRUM, sprints de 2 semaines

Stack technique

CompétenceNiveau attendu

AWS (Glue, Athena, EMR, Lambda, Fargate, S3)

Expert

Infrastructure as Code (CDK Python ou Terraform)

Expert

Python (bonnes pratiques, qualité logicielle, Sonarqube)

Expert

CI/CD (Jenkins notamment)

Confirmé

Docker, Linux

Confirmé

Airflow, Pandas, Spark (bonus)

Apprécié

Équipe & environnement

* Équipe actuelle de 4 personnes (Data Ops, DevOps, Fullstack Catalogue)
* En lien direct avec des architectes, Data Engineers, et équipes Data Mesh
* Approche Data Mesh avec gouvernance distribuée, qualité, et catalogage des données
* Environnement stimulant avec volonté de mise à l’échelle, automatisation et industrialisation des pratiques

Profil recherché

* 8 ans d’expérience minimum en Data Platform / Cloud Data Engineering
* Très bon niveau en AWS et pratiques DevOps
* Capacité à produire du code de qualité (software craftsmanship)
* Solide bagage en design de composants techniques réutilisables
* Capacité à prendre du recul, force de proposition technique et organisationnelle
* Appétence pour la collaboration avec des équipes multidisciplinaires