Lead data engineer / lead développeur python & spark (hadoop) - lyon - freelance

Description du poste

Taux journalier (TJM): 550

Dans le cadre de son activité Big Data, notre client recherche un Lead Développeur Data (7+ ans d'expérience) pour accompagner l'évolution et la maintenance de son Datalake sur plateforme Cloudera Hadoop.

Missions principales :

* Pilotage technique (Lead Tech) : spécifications, revues de code, mentorat (alternants).

* Développement et maintenance des flux d'alimentation (Python, Shell, Spark).

* Optimisation des performances de la plateforme (Hive, Yarn, Spark tuning).

* Support de niveau 2 et accompagnement des utilisateurs.

* Reverse engineering sur architecture existante complexe.

Stack : Hadoop Cloudera, Hive, Impala, Python, Shell, Linux, SQL, Spark 2/3, Kafka (plus).


Profil recherché

Expert Data avec plus de 7 ans d'expérience, vous maîtrisez l'écosystème Hadoop et le développement Spark (pipelines complexes, broadcast, repartition).

Compétences indispensables :

* Expertise SQL (CTE) et scripting Shell avancé.

* Maîtrise de Hive (tables externes/managées, optimisation Parquet).

* Capacité à analyser des logs et comprendre le fonctionnement de Yarn.

* Soft skills : diplomatie, pédagogie et excellente communication.

Critère géographique : Poste basé à Lyon (2 jours de télétravail). Résidence à Lyon ou périphérie indispensable (ou projet de déménagement immédiat).