Développeur big data sur lyon

Je recherche pour un de mes client un Développeur Big Data sur Lyon CONTEXTE DE LA MISSION Le client, dans le cadre de son activité Big Data, recherche un profil en développement Data, Python, SQL, Shell, Spark ( de 5 ans d'expérience) pour l’accompagner dans les actions sur la plateforme Cloudera Hadoop. L'objectif de la prestation est de réaliser et maintenir les développements nécessaires à l'alimentation de la plateforme Hadoop, à la mise en place d'extractions et à l'accompagnement des utilisateurs. DESCRIPTION DE LA MISSION Rattaché au responsable Big Data, le profil aura pour principales missions : - de prendre en charge les évolutions des données à intégrer, reprendre les développements effectués pour l'alimentation du Datalake, de les faire évoluer en fonction des besoins (Stack technique : Hadoop Cloudera, Hive, Impala, Python, Shell, Linux, SQL, VBA, Jupyter) - d'avoir une expertise technique permettant de spécifier techniquement les tâches, fournir les requêtes de référence, effectuer une revue de code, accompagner les potentiels alternants ou stagiaires (une alternante à date) - de mettre en place des extractions à partir de ces données, - d’assurer le support niveau 2, - de faire appliquer les consignes aux utilisateurs, - de garantir la tenue des délais de livraison dans un contexte de production à fortes attentes - de contribuer à garantir la maintenabilité de la plateforme ainsi que ses performances et son exploitabilité Il veillera au respect de l’utilisation des modèles référencés ou à leur évolution en collaboration avec la Direction Technique Informatique et la Gouvernance de la Donnée. Le profil devra posséder des aptitudes et qualités avérées sur sa capacité à communiquer avec diplomatie, à écouter, à s'intégrer et à partager son savoir faire, à documenter ses actions et à accompagner. LIVRABLES ATTENDUS ET ENVIRONNEMENT TECHNIQUE Les principales missions confiées seront les suivantes : - Développement des traitements d'alimentation, forte capacité à structurer l'activité (JIRA), mise en place et description de processus (guides, accompagnement utilisateurs, …), pilotage opérationnel de certains sujets - Développement d'extractions avec SQL (expert) et scripting Shell avancé pour l'automatisation - Capacité à investiguer et faire du reverse engineering dans une architecture héritée complexe - Optimisation des traitements de la plateforme et ceux des utilisateurs - Capacité à expliquer simplement le sujet, à communiquer vers des interlocuteurs type développeur, bureau d'étude, qualifieur et "clients" (Groupes de protection sociale). La connaissance de Power BI et SAS sont des plus. Exemples de livrables attendus : - Code source documenté - Plan de tests / fiches de test - Bilan - Bordereau de livraison - Manuel d’installation - Dossier d’exploitation - JIRA documentée Environnement technique : - Hadoopa Cloudera - Hive - Impala - Python - Shell - Spark - Linux - SQL - VBA - Git - Jupyter Des connaissances de l’écosystème de la protection sociale sont les bienvenues (retraite complémentaire idéalement). Profil candidat: Environnement technique : - Hadoopa Cloudera - Hive - Impala - Python - Shell - Spark - Linux - SQL - VBA - Git - Jupyter Des connaissances de l’écosystème de la protection sociale sont les bienvenues (retraite complémentaire idéalement).