Data engineer hadoop / pyspark - freelance

Description du poste Taux journalier (TJM): 400 Contexte Le client recherche un profil majeur Hadoop et mineur GCP pour intervenir sur le datalake CIO Office. Le consultant travaillera en lien avec l'équipe de production applicative et devops dans un environnement dynamique et en constante évolution. Missions Mettre en œuvre de nouvelles ingestions de données, data prep et transformations Maintenir et faire évoluer les outils de gestion des pipelines de données (PySpark shell scripting) Adresser à l'équipe devops les demandes relatives aux évolutions de la plateforme Éventuellement mettre en œuvre une couche d'APIs afin d'exposer les données Outils & Environnement Plateforme Hadoop Développement en Python/PySpark et Hive SQL, GIT, Jenkins, Jira Shell scripting sous Unix/Linux Connaissances appréciées : Indexima, Alteryx, Altair, GCP/Big Query, bibliothèques Python orientées API Méthodologie agile, notamment SCRUM Conditions de travail Collaboration avec une équipe IT basée notamment à Porto, nécessitant une maîtrise de l'anglais à l'écrit et à l'oral Travail en équipe dans un environnement agile et évolutif Autonomie, initiative et capacité d’analyse pour résoudre des problèmes complexes Profil recherché Excellente maîtrise de la plateforme Hadoop, ainsi que du développement en Python/PySpark et Hive Bonne connaissance de SQL, GIT, Jenkins, Jira, et du shell scripting sous Unix/Linux Maîtrise de l'anglais, tant à l'écrit qu'à l'oral Expérience dans des environnements agiles, en particulier avec la méthodologie SCRUM Connaissances et expériences avec des outils et technologies tels que Indexima, Alteryx, Altair, GCP/Big Query, ainsi que des bibliothèques Python orientées API Capacité à rédiger des spécifications techniques claires et précises Dynamisme, excellent relationnel et capacité à travailler en équipe Force de proposition et curiosité technique pour explorer de nouvelles solutions et technologies