Description du poste
Taux journalier (TJM): 640
Descriptif
La prestation de « Data Engineer senior» consiste à développer des ETL/ELT sous GCP et Cloudera onPrem, maintenir en condition opérationnelle un socle Spark Hadoop développé en Java, tout en participant à un chantier de réécriture en Scala ou PySpark.
Missions :
* Concevoir, développer et mettre en œuvre des pipelines ETL/ELT robustes et performants pour ingérer, transformer et charger des données structurées et non structurées.
* Développer des solutions de traitement de données à grande échelle en utilisant Scala et PySpark sur les environnements GCP (CF, Cloud run, Dataproc, BigQuery, Cloud Storage) et/ou Cloudera (HDFS, Spark, Hive, Ranger, kerberos).
* Participer à la conception et à l'évolution de l'architecture de données, en assurant la cohérence, la performance et la sécurité.
* Optimiser les requêtes et les performances des jobs de traitement de données.
* Mettre en place et maintenir des processus de qualité des données et de monitoring.
* Collaborer étroitement avec les architectes, le Techlead, les Analystes de données et les autres parties prenantes pour comprendre leurs besoins et y répondre efficacement.
* Écrire du code propre, maintenable et bien documenté.
* Participer aux revues de code et aux bonnes pratiques de développement.
* Assurer le déploiement, la configuration et la maintenance des outils et plateformes de données.
* Résoudre les problèmes techniques liés aux flux de données et aux plateformes.
Profil recherché
Expertise avérée en GCP, Hadoop/cloudera, Spark, Scala et/ou PySpark.
Qualifications :
* Expérience professionnelle significative dans le domaine du Big Data, avec une expertise approfondie en écosystème Hadoop, Spark, Scala et PySpark.
* Excellente maîtrise du langage de programmation Java, avec des compétences avancées en développement et en maintenance.
* Solides compétences en développement Scala ou PySpark, avec une expérience dans la réécriture de composants Java en Scala ou PySpark.
* Bonnes connaissances des principes de l'ingénierie des données, de l'ingénierie des systèmes, de l'ingénierie logicielle et des architectures Big Data.
* Capacité à travailler de manière autonome et en équipe, avec d'excellentes compétences en communication et en résolution de problèmes.
* Une connaissance des écosystèmes des providers cloud est un plus : AZURE, AWS, GCP
* Expérience avec des outils d'orchestration de workflow (Composer, Airflow, controlM..).
En cliquant sur "JE DÉPOSE MON CV", vous acceptez nos CGU et déclarez avoir pris connaissance de la politique de protection des données du site jobijoba.com.