Nous recherchons un Lead Data Engineer chevronné pour rejoindre un acteur majeur de la Tech Parisienne. Au sein d'une équipe dynamique, votre mission sera de piloter l'acquisition de données à grande échelle et d'orchestrer une migration technologique stratégique. Votre Mission En tant que garant technique de l'acquisition de données, vous intervenez sur l'ensemble de la chaîne de valeur, du cleaning à l'enrichissement. Vos responsabilités principales incluent : Architecture & Design : Concevoir et refondre des pipelines de données robustes dans le cadre d'une migration majeure de GCP vers AWS. Ingestion Massive : Gérer l'ingestion de types de données variés (Listing, etc.) et assurer leur qualité. Optimisation : Assurer le nettoyage et l'enrichissement des données pour les rendre exploitables par les équipes consommatrices. Snowflake : Exposer les données de manière optimale. Compétences Techniques Requises Cloud : Maîtrise avancée de l'écosystème AWS (tous services) et idéalement une expérience de migration depuis GCP. Data Processing : Expertise sur Spark / PySpark pour le traitement de données volumineuses. Infrastructure : Solides compétences en Terraform (IaC). Langages : Maîtrise de Python. Data : Connaissance de Snowflake pour la partie consommation. Profil candidat: AWS : Expérience pratique approfondie des services AWS, incluant S3, ECS, etc., et tout particulièrement Lambda et Glue. Python : Compétences avancées en Python pour la manipulation de données, le scripting et le développement de pipelines. PySpark : Forte expérience dans la construction de pipelines de données distribués et scalables avec PySpark. SQL : Maîtrise du SQL pour interroger et transformer de grands ensembles de données. Terraform : Expérience dans la création et la gestion d'infrastructures utilisant Terraform. La connaissance de Terragrunt est un plus. Circle CI : Aisance dans la configuration et la maintenance de pipelines pour soutenir l'automatisation et les workflows de déploiement. Snowflake : Expérience avec Snowflake pour l'entreposage de données (data warehousing), y compris le chargement, la transformation et l'interrogation de données à grande échelle. DataDog : Connaissance de DataDog pour la surveillance, les alertes et la création de tableaux de bord. You are fluent in English
En cliquant sur "JE DÉPOSE MON CV", vous acceptez nos CGU et déclarez avoir pris connaissance de la politique de protection des données du site jobijoba.com.