Description du poste
Taux journalier (TJM): 670€/jour
Contexte
Organisée autour des outils de compute, d'orchestration et exposition, l'équipe est chargée de mettre à disposition la stack data pour l'ensemble du groupe et d'en assurer sa robustesse et scalabilité.
Nous avons le besoin de sensibiliser les utilisateurs aux bonnes pratiques que l'équipe met en place sur une modern data stack et son orchestration. Ceci afin d'accompagner au mieux le développement des use cases métiers sur la plateforme.
Missions
Ta mission sera de :
* Garantir la robustesse de la plateforme
* Monitorer et prendre des actions proactives de management de la plateforme de compute et d'orchestration
* Accompagner la migration d'AWS Glue Catalog vers Unity (Databricks)
* Accompagner la migration de nos utilisateurs de MWAA vers Astronomer
* Assurer le support et l'accompagnement d'équipes sur Spark, Databricks et EMR
* Travailler sur les optimisations des traitements Pyspark
* Accompagner et former
* Définir et promouvoir les bonnes pratiques de data engineering sur les technologies proposées au sein de l'équipe
* Développer le futur :
o Travailler sur le concept d'accessibilité et de gouvernance de la donnée
o Tester de nouveaux outils / features intéressants à intégrer dans notre stack
Une expérience avancée sur une stack incluant Databricks est requise.
Compétences
* EMR : Confirmé
* CI/CD : Avancé
* PYSPARK : Avancé
* DATABRICKS : Confirmé
* Terraform : Avancé
Langues
* Anglais : Courant
Conditions de travail
* TJM : 670€
* Localisation : Lille
Profil recherché
1. Expérience avancée sur une stack incluant Databricks
2. Compétences confirmées en EMR et Databricks
3. Compétences avancées en CI/CD, PYSPARK et Terraform
4. Maîtrise courante de l'anglais
En cliquant sur "JE DÉPOSE MON CV", vous acceptez nos CGU et déclarez avoir pris connaissance de la politique de protection des données du site jobijoba.com.