Nous constituons un vivier de freelances spécialisés en data engineering pour anticiper les besoins de nos clients sur des projets Big Data et Cloud. Nous recherchons des Data Engineers expérimentés sur Spark et Scala, capables d?intervenir rapidement sur des missions à Nantes et Rennes, dans des contextes variés (banque/assurance, industrie, retail, services).
En tant que Data Engineer Spark / Scala, vos missions pourront inclure :
Conception et développement de pipelines de données : ingestion, transformation, nettoyage et enrichissement de données massives.
Développement d?applications distribuées avec Apache Spark (Batch et Streaming) en Scala.
Industrialisation des traitements Big Data : optimisation des performances, gestion des volumes importants, parallélisation.
Mise en place d?architectures data : Data Lake, Data Warehouse, solutions temps réel.
Intégration Cloud : déploiement et utilisation des services Big Data sur AWS, Azure ou GCP (EMR, Databricks, Synapse, BigQuery, etc.).
Tests, qualité et fiabilité : mise en place de bonnes pratiques de développement (CI/CD, tests unitaires et fonctionnels).
Sécurité et conformité : respect des normes RGPD et bonnes pratiques de gouvernance des données.
Documentation et partage : rédaction des spécifications techniques, bonnes pratiques et transmission de compétences aux équipes internes.
Collaboration transverse : travail étroit avec les Data Scientists, Data Analysts, Product Owners et Architectes pour répondre aux besoins métiers.
Profil candidat:
Formation et expérience
Bac +3 à Bac +5 en informatique, data engineering, mathématiques appliquées, ou équivalent.
Expérience confirmée en développement Big Data avec Spark et Scala.
Références sur des projets de traitement de données massives en environnement distribué.
Compétences techniques
Maîtrise de Spark (Batch & Streaming) et du langage Scala (fonctionnel, orienté performance).
Bonne connaissance des environnements Hadoop, Kafka, Hive, HBase, ou équivalents.
Pratique des environnements Cloud (AWS, Azure, GCP) et des solutions managées type Databricks.
Compétences en CI/CD et DevOps (Git, Jenkins, Docker, Kubernetes, Terraform).
Bonne maîtrise des bases de données SQL et NoSQL.
Connaissance des méthodologies Agile / Scrum.
Qualités personnelles et professionnelles
Autonomie et capacité à gérer un projet de bout en bout.
Rigueur et sens du détail dans le traitement des données.
Esprit analytique pour comprendre les enjeux métiers derrière les besoins techniques.
Curiosité technologique et volonté de rester à jour sur les évolutions du Big Data et du Cloud.
Collaboration et goût du travail en équipe pluridisciplinaire.
En cliquant sur "JE DÉPOSE MON CV", vous acceptez nos CGU et déclarez avoir pris connaissance de la politique de protection des données du site jobijoba.com.