Tech lead databricks (it) / freelance

Nous recherchons un Tech lead pour accompagner notre client (leader sur le marché international de services de paiement) sur ses projets.

L?objectif : concevoir et développer un framework d?ingestion scalable sur Databricks (PySpark, Delta Lake)

Vos missions :

· Implémenter des pipelines d?ingestion standardisés batch et temps réel (streaming) depuis différentes sources (fichiers, bases de données, APIs, Kafka, etc.).


· Mettre en place un framework de contrôle qualité des données ainsi que les mécanismes de monitoring / alerting.


· Encadrer techniquement l?équipe, assurer les revues de code et diffuser les bonnes pratiques.


· Gérer les workflows GitHub, les stratégies de versioning et les pipelines CI/CD.


· Documenter les choix techniques, processus et composants développés.


· Collaborer avec les équipes produit, data engineering et métier dans un environnement international anglophone.


· Être force de proposition sur les choix d?architecture et l?évolution du framework.





Profil candidat:
· Maîtrise Databricks (PySpark, Delta Lake) & Python


· Expérience confirmée en data engineering et plateformes data à métadonnées


· Connaissance Azure Data Services & streaming (Structured Streaming, Kafka)


· Bonne pratique GitHub & APIs REST


· Très bon niveau d?anglais + autonomie & leadership technique



Bonus : Confluent Kafka, intégration Salesforce, Terraform / Bicep