Data engineer gcp à villeneuve d’ascq (it)

Chez ATLANSE, nous accompagnons nos clients dans la conception d?infrastructures résilientes, l?amélioration de la performance de leur production applicative, l?optimisation et le développement des environnements de travail ainsi que l?exploitation et la valorisation des données. Pour cela, nous nous appuyons sur nos consultants confirmés et experts ou à fort potentiel, reconnus pour leurs compétences techniques, leur compréhension métier et leurs pratiques éprouvées.

Dans le cadre d?une démarche d'industrialisation des flux de données, vous intervenez sur la conception, le développement, la maintenance et l'optimisation de pipelines de données (ETL/ELT), la gestion d'infrastructures de données sur Google Cloud Platform (GCP), et la mise en place de solutions de reporting et d'analyse.

Votre rôle

Développement et industrialisation des pipelines de données

· Concevoir, développer et maintenir des Pipelines ETL/ELT robustes et performants sur GCP

· Collecter, transformer et charger des données issues de diverses sources
(Oracle, fichiers, APIs, etc.) vers BigQuery et d'autres destinations

· Utiliser et orchestrer les services Google Cloud Platform (Dataflow, Dataproc,
Cloud Composer/Airflow, Pub/Sub, Cloud Storage, BigQuery) pour construire des
architectures de données scalables et fiables

· Automatiser les traitements, gérer les dépendances et ordonnancer les jobs de données

· Optimiser les performances des pipelines et la consommation des ressources
GCP

Modélisation, qualité et gestion des données

· Participer à la conception et à l'évolution des modèles de données dans
BigQuery

· Assurer la qualité, la cohérence et l'intégrité des données stockées et mises à
disposition

· Mettre en place et gérer des stratégies de versioning des schémas et de cycle de vie des données

· Écrire, optimiser et exécuter des requêtes SQL complexes dans BigQuery et Oracle

· Créer des dashboards et indicateurs de suivi pour le reporting opérationnel et métier

Run Opérationnel, maintenance et support N2/N3

· Assurer le support opérationnel N2/N3 sur les environnements GCP et la solution éditeur

· Traiter les incidents et demandes via EasyVista, en lien avec l'éditeur et les équipes internes

· Développer et maintenir des scripts Bash pour l'automatisation, la supervision, l'extraction/transformation et les tâches de maintenance système

· Participer à la qualification des livraisons de patchs éditeur impactant les flux de
données

· Suivre les incidents éditeur dans le CRM et participer aux ateliers de suivi

Supervision, infrastructure et amélioration continue

· Mettre en place et maintenir des solutions de supervision des flux, de la qualité des données et des traitements

· Définir et implémenter des alertes pertinentes pour détecter proactivement les
anomalies de données ou de pipelines

· Participer à la définition et à l'implémentation de l'infrastructure de données
(bases de données, services GCP) via des outils IaC (Terraform)

· Garantir la reproductibilité et la traçabilité des environnements de données (Dev,
Recette, Pré-Prod, Prod)

· Participer aux rituels Agile / Kanban et contribuer à l?amélioration continue des pratiques data







Profil candidat:
Profil recherché

Compétences techniques :

· Maîtrise des services data GCP : BigQuery, Dataflow, Cloud Storage, Pub/Sub, Cloud Composer/Airflow, Stackdriver, Data Catalog

· Maîtrise avancée de SQL : requêtes complexes, optimisation, exploitation de données

· Expérience avec BigQuery et Oracle 19. La connaissance de MySQL ou PostgreSQL est un plus.

· Maîtrise du scripting Bash notamment pour les activités de run et d?automatisation

· Connaissances avancées de Linux (RedHat)

· Maîtrise de Terraform pour la gestion d'infrastructures cloud

· Expertise sur au moins un outil majeur (GitLab CI) pour l?industrialisation et le versioning

· Expérience avec des outils de monitoring et reporting : Stackdriver (GCP), Grafana, ELK Stack
(Elasticsearch, Logstash, Kibana) et Looker Studio

· Maîtrise des principes ETL/ELT, Data Warehousing, Data Lake et streaming de données

· Connaissances solides en réseau (TCP/IP, HTTP/S, DNS, Load Balancers, Firewalls) dans un environnement cloud

Qualités personnelles :

· Forte capacité d'analyse et de résolution de problèmes en environnement de production

· Autonomie, proactivité et force de proposition pour l'amélioration continue des processus
et des architectures data

· Excellentes compétences en communication écrite et orale (Français et Anglais technique)

· Capacité à travailler en équipe, à partager les connaissances et à accompagner les
montées en compétences

· Sens aigu des responsabilités et de la gestion des incidents en environnement de production de données

___

Type de contrat : CDI ou portage ATLANSE

Niveau d?expérience : 3 ans en tant que Data Engineer, Data Engineer sur GCP ou poste équivalent

Secteur : Retail

Localisation : Villeneuve d?Ascq

Langues : Français et anglais courant impératifs

___