Data engineer gcp & big data

Construction de Pipelines Data : Développer des pipelines batch robustes avec Apache Beam / Dataflow pour traiter des volumes de données massifs (TB) Concevoir des pipelines de streaming temps réel avec Pub/Sub et Dataflow Streaming pour l’ingéstion événementielle Gérer l’ingéstion multi-sources complexe : APIs REST/GraphQL, bases relationnelles (CDC), fichiers plats, données semi-structurées (JSON, Avro, Parquet) Orchestrer les workflows de données avec Cloud Composer (Airflow) : dépendances, retry policies, alerting et SLA monitoring Implémenter les stratégies de gestion d’erreurs : dead letter queues, idempotence et exactly-once processing Architecture & Modélisation : Designer le Data Warehouse BigQuery avec une architecture en couches (raw, staging, curated, serving) selon les bonnes pratiques Appliquer la modélisation dimensionnelle (étoile/flocon) et les techniques de Slowly Changing Dimensions (SCD Type 1/2/3) Optimiser les performances BigQuery : Partitioning (time/range), Clustering, materialized views et BI Engine Concevoir le Data Lake sur Cloud Storage avec une convention de nommage et un cycle de vie adapté (Nearline, Coldline, Archive) Qualité & Gouvernance : Mettre en place la Data Quality avec dbt tests, Great Expectations et contrôles de cohérence inter-tables Implémenter le catalogage des données avec Dataplex : discovery, classification automatique et tagging métier Assurer la traçabilité complète des données (lineage) avec Data Catalog et les metadata BigQuery Définir et appliquer les politiques de Data Masking et de contrôle d’accès au niveau colonne (column-level security) Industrialisation & DevOps Data : Industrialiser les déploiements avec CI/CD pour la Data : tests unitaires dbt, validation de schémas et promotion d’environnements Provisionner l’infrastructure Data via Terraform : datasets BigQuery, topics Pub/Sub, buckets et DAGs Composer Documenter les pipelines, les modèles de données et les runbooks opérationnels pour assurer la maintenabilité