Data engineer pyspark/dev python

Budget: -

Dans le cadre de ses projets clients, Visian est à la recherche d'un Data Engineer Pyspark avec une double casquette en développement back-end sur Python

Missions et Responsabilités

* Développement Backend

○ Concevoir, développer et maintenir des services backend (Python, PySpark), exposant des APIs et des intégrations orientées observabilité.

○ Implémenter des solutions robustes et performantes pour répondre aux besoins d'observabilité.

* Ingénierie des Données

○ Construire et orchestrer des pipelines ELT/ETL robustes (Airflow, Spark, Python), incluant ingestion, transformation, qualité et lineage.

○ Garantir la fiabilité, la sécurité et la gouvernance des flux (tests de données, observabilité des pipelines).

* Stockage et Visualisation des Données

○ Gérer les données via PostgreSQL, Azure Blob Storage et ADLS (un plus pour ElasticSearch)

○ Créer des tableaux de bord et des visualisations avancées avec Grafana pour surveiller les performances et les métriques clés.

* Collaboration Inter-équipes

○ Travailler en étroite collaboration avec l'équipes de développement, le product owner et les parties prenantes (Scrum Agile)

○ Intégrer les pratiques d'observabilité dans les cycles de développement pour améliorer la visibilité et la résilience des systèmes.

Expertises Techniques requises

* Langages de programmation :

○ Maîtrise avancée de Python, PySpark, SQL, et NoSQL (ElasticSearch).

* Outils et technologies :

○ Expertise dans l'utilisation de Spark & Airflow, PostgreSQL, Azure Blob Storage, et ELK Stack

○ Familiarité avec les environnements AKS (Azure Kubernetes Service), Azure Functions, Event Hub, et Grafana.

* DevOps et CI/CD :

○ Expérience avec les pipelines CI/CD via GitHub.

○ Connaissance des pratiques d'intégration et de déploiement continus.

Compétences Linguistiques

* Français: courant (écrit et oral).
* Anglais: courant (écrit et oral).

Technologies principales utilisées

* Infrastructure Cloud et Calcul

○ AKS (Azure Kubernetes Service)

○ Azure Functions

* Gestion du Stockage de Données

○ Azure Blob Storage

○ ADLS Gen2

○ Delta

○ PostgreSQL

* Streaming et Messagerie

○ Event Hub

○ Spark structured streaming

* Traitement des Données, orchestration des Pipelines et Logging

○ Airflow

○ Spark

○ Azure Log Analytics & Metrics (KQL)

* Visualisation

○ Grafana

* Collaboration et CI/CD

○ GitHub Action

* Architecture

○ Medaillon Delta Lake