Basée à Lille, Lyon, Nantes, Grenoble et Bruxelles, Insitoo Freelances est une société du groupe Insitoo, spécialisée dans le placement et le sourcing des Freelances IT et Métier. Depuis 2007, Insitoo Freelances a su s?imposer comme une référence en matière de freelancing par son expertise dans l?IT et ses valeurs de transparence et de proximité. Actuellement, afin de répondre aux besoins de nos clients, nous recherchons un Développeur Data Spark (H/F) à Lyon, France.
Contexte :
Analyser et cartographier, avec les experts métiers et l'équipe de développement, le pipeline de données actuel : les modèles de données des différentes base de données utilisées; les flux de données qui existent entre les différentes sources de données (lignage des données); les règles de validation, de filtrage de calcul actuellement en place lors des transferts de données
Assister les architectes dans la définition du nouveau pipeline de données en s'appuyant sur les service cloud
Appuyer l'équipe de développement dans la réalisation de la nouvelle solution : Mise en place en place de la solution et des bonnes pratiques associées ; Culture du data engineering ; Expertise sur l'outillage data mise en place (ETL, base de données, Spark, Glue)
Les missions attendues par le Développeur Data Spark (H/F) :
Expertise dans l'outillage de stockage des données (base de données, fichiers) et le traitement des données (ETL, Spark)
Expertise Spark, quelque soit le langage de prédilection (Java, Scala, Python)
Maitrise des bonnes pratiques de développements et de la mise en oeuvre des outils liées à la data
Maîtrise des technologies du Big Data, des problématiques liées à la volumétrie et aux performance
Maîtrise des outils de gestion de code (Git) et de déploiement projet (Terraform)
Une séniorité globale supérieure à 10 ans est attendue sur ce poste
Plusieurs expertise significatives dans l'analyse de données et la mise en place de pipelines qu'ils soient de type batch/ETL ou événementiel/streaming
Profil candidat:
Compétences techniques et fonctionnelles attendues :
- Terraform - Expert - Indispensable
- Python - Expert - Indispensable
- Apache Spark - Expert - Indispensable
- Java - Expert - Indispensable
- Scala - Expert - Indispensable
En cliquant sur "JE DÉPOSE MON CV", vous acceptez nos CGU et déclarez avoir pris connaissance de la politique de protection des données du site jobijoba.com.