Conception, Développement et Optimisation de Pipelines de Données sur GCP :
? Concevoir, développer et maintenir des pipelines robustes et performants de collecte, transformation et chargement de données à partir de diverses sources (Oracle, fichiers, APIs, etc.) vers BigQuery et d'autres destinations.
? Utiliser et orchestrer les services Google Cloud Platform (Dataflow, Dataproc, Cloud Composer/Airflow, Pub/Sub, Cloud Storage, BigQuery) pour construire des architectures de données scalables et fiables.
? Assurer l'automatisation des traitements, la gestion des dépendances et l'ordonnancement des jobs de données.
? Optimiser les performances des pipelines et la consommation des ressources GCP.
Modélisation et Gestion des Données :
? Participer à la conception et à l'évolution des modèles de données dans BigQuery, en collaboration avec les Data Analysts et les équipes métier.
? Assurer la qualité, la cohérence et l'intégrité des données stockées et mises à disposition.
? Mettre en place et gérer des stratégies de versioning des schémas de données et de cycle de vie des données.
Run Opérationnel, Maintenance et Support N2/N3 :
? Assurer le support opérationnel de niveau 2/3 du produit Topase dans ensemble (GCP + Solution éditeur).
? Développer et maintenir des scripts Bash pour l'automatisation des tâches opérationnelles, la supervision des flux, l'extraction/transformation de données et les tâches de maintenance système.
? Écrire, optimiser et exécuter des requêtes SQL complexes pour l'analyse, la qualification, le diagnostic d'incidents, la manipulation et la restitution de données dans BigQuery et Oracle.
? Gérer les incidents en collaboration avec l'éditeur et les équipes internes.
? Participer à la qualification des livraisons de patchs éditeur impactant les flux de données.
? Gérer les incidents éditeur sur son CRM et participer aux ateliers de suivi.
Profil candidat:
? Cloud Public (GCP) : Expertise avérée et significative sur les services data de Google Cloud Platform (BigQuery, Dataflow, Cloud Storage, Pub/Sub, Cloud Composer/Airflow, Stackdriver, Data Catalog).
? Bases de données : Maîtrise avancée de SQL (requêtes complexes, optimisation), expérience avec BigQuery et Oracle 19. Connaissance d'autres bases de données (MySQL, PostgreSQL) est un plus.
? Scripting et Programmation : Maîtrise de Bash
? Systèmes d'exploitation : Connaissances avancées de Linux (RedHat).
? IaC & Configuration Management : Maîtrise de Terraform pour la gestion d'infrastructures cloud.
? CI/CD : Expertise sur au moins un outil majeur (GitLab CI) pour l'automatisation des déploiements de code data.
? Monitoring & Logging : Expérience avec Stackdriver (GCP), Grafana, ELK Stack (Elasticsearch, Logstash, Kibana) et Looker Studio.
? Gestion de Versions : Maîtrise d?outils type Git (GitLab).
? Réseaux : Connaissances solides en réseau (TCP/IP, HTTP/S, DNS, Load Balancers, Firewalls) dans un environnement cloud.
? Concepts Data Engineering : Maîtrise des principes ETL/ELT, Data Warehousing, Data Lake, streaming de données.
En cliquant sur "JE DÉPOSE MON CV", vous acceptez nos CGU et déclarez avoir pris connaissance de la politique de protection des données du site jobijoba.com.