Architecte tech lead data platforme databricks - cdi

Description du poste


Contexte: FREELANCE ET CDI

Secteur du nucléaire.
Équipe de 5 à 6 personnes, projet sur du long terme.
Data plateforme en place, maintien et amélioration de la plateforme, intégration de l'IA, sécurité du client à prendre en compte.
Full time (possible démarrage à 3/5ème dans un premier temps).
Démarrage : ASAP.
Présentiel souhaité : 2 à 3 jours sur site à Lyon.


Missions

* Optimisation et mise en place de l’architecture Data Platform (Azure Databricks) en appliquant les bonnes pratiques de gouvernance, performance et scalabilité.

* Organisation et structuration des ressources pour l’industrialisation de nouveaux use cases et la livraison en production.

* Montée en compétence de l’équipe Data (mentorat, standards d’architecture, bonnes pratiques CI/CD).

* Implémentation d’une architecture Data Mesh orientée domaines.

* Mise en place des droits d’accès et de la gouvernance des Data Domains et des use cases via Databricks Unity Catalog.

* Gestion centralisée du catalogue de données, data lineage et sécurité.

* Refonte et optimisation de l’architecture Data Platform pour améliorer performance, coûts et maintenabilité.

* Optimisation des performances de traitement (Spark tuning, optimisation Delta, partitioning, caching).

* Création et orchestration de workflows sur Azure Databricks.

* Développement de notebooks d’intégration et de transformation des données (PySpark / SQL).

* Développement de pipelines Azure Data Factory.

* Mise en place de pipelines DevOps CI/CD et industrialisation des déploiements multi-environnements (DEV / UAT / PROD).

* Mirroring des catalogues et use cases Databricks vers Fabric pour unifier la gouvernance et faciliter l’adoption métier.

* Utilisation des Shortcuts vers OneLake afin d’éviter la duplication de données, réduire les coûts de stockage et améliorer la performance des rapports Microsoft Power BI.

* Implémentation d’AI Data Agents pour démocratiser l’accès aux données.

* Utilisation de Copilot via Data Agent pour permettre aux utilisateurs métier d’interagir en langage naturel avec les données.

* Intégration des Data Agents dans Microsoft Teams afin d’améliorer la collaboration et la génération assistée d’insights.


Outils & Environnement

* Azure Databricks

* Databricks Unity Catalog

* Azure Data Factory

* Azure DevOps

* Azure Key Vault

* Azure Data Lake Storage (ADLS Gen2)

* Azure Cosmos DB

* Microsoft Power BI

* OneLake

* PySpark

* Spark SQL

* Delta Lake

* CI/CD

* Data Mesh

* Lakehouse Architecture


Conditions de travail

* Remplacement à faire.

* Architecte, 2/3 jours par semaine, idéalement à Lyon.

* Répartition du temps : 2/5 architecture, 2/5 lead tech Databricks, 1/5 travail sur les use case métier.

* Anglais requis.


Profil recherché

1. 2/5 d'expérience en architecture
2. 2/5 d'expérience en lead tech Databricks
3. 1/5 d'expérience sur les use cases métier
4. Maîtrise de Azure Databricks, Databricks Unity Catalog, Azure Data Factory, Azure DevOps, Azure Key Vault, Azure Data Lake Storage (ADLS Gen2), Azure Cosmos DB, Microsoft Power BI, OneLake
5. Compétences en PySpark, Spark SQL, Delta Lake, CI/CD, Data Mesh et Lakehouse Architecture
6. Capacité à optimiser les performances de traitement (Spark tuning, optimisation Delta, partitioning, caching)
7. Expérience en développement de notebooks d’intégration et de transformation des données
8. Compétences en orchestration de workflows et pipelines Azure Data Factory
9. Expérience en mise en place de pipelines DevOps CI/CD et industrialisation des déploiements multi-environnements (DEV / UAT / PROD)
10. Anglais requis