Connaissance de l'écosystème technique CCDP spécifiquement Les livrables sont Refondre et automatiser l?architecture data Mise en place de la Data Quality Suivi FinOps Compétences techniques Terraform - Expert - Impératif DBT - Expert - Impératif GCP / Bigquery - Confirmé - Impératif DBT - ELEMENTARY - Expert - Impératif Connaissances linguistiques Français Courant (Impératif) Anglais Professionnel (Secondaire) Description détaillée Mission ? Data Engineer GCP / BigQuery / Terraform / dbt Contexte : Dans le cadre de l?évolution de notre architecture data, nous recherchons un Data Engineer expérimenté pour remettre à niveau notre infrastructure de traitement de données sur Google Cloud Platform (GCP), en particulier BigQuery. L?objectif est de garantir une plateforme fiable, automatisée, scalable et optimisée en termes de coûts. Objectifs de la mission : Phase 1 : Refondre et automatiser l?architecture data Modernisation de l?architecture existante sur GCP BigQuery. Mise en place d?une infrastructure as code via Terraform pour automatiser le déploiement des ressources. Mise en ?uvre de pipelines de transformation avec dbt. Standardisation de la création des assets data (datasets, modèles, vues) pour une meilleure scalabilité et réplicabilité. Phase 2 : Mise en place de la Data Quality Intégration de dbt-elementary pour le monitoring de la qualité des données. Définition de règles de validation et de tests automatisés sur les jeux de données critiques. Intégration potentielle avec notre Data Quality Platform. Phase 3 : Suivi FinOps Conception et développement d?un dashboard FinOps pour piloter les coûts liés à la plateforme data (requêtes, stockage...). Mise en place d?alerting et de bonnes pratiques d?optimisation. Profil candidat : Profil recherché par le client : 3 ans d?expérience minimum en tant que Data Engineer dans un environnement cloud GCP. Le consultant devra obligatoirement résider dans la métropole lilloise
Créer une alerte emploi pour cette recherche
#J-18808-Ljbffr
En cliquant sur "JE DÉPOSE MON CV", vous acceptez nos CGU et déclarez avoir pris connaissance de la politique de protection des données du site jobijoba.com.