Lead data engineer

Nous recherchons un lead Data Engineer pour rejoindre nos équipes. Vous disposez de plus de 5 ans d'expérience dans la conception, le développement et l'industrialisation de pipelines Data en environnements Big Data et Cloud.

Vous maîtrisez Spark, Databricks, NiFi, Kafka ainsi que les écosystèmes Azure, et vous avez une expérience confirmée en lead technique et en pilotage de projets data.

La connaissance de Dataiku constitue un atout complémentaire pour l'orchestration et la gestion des flux de transformation.

Conception et développement de pipelines Big Data

* Concevoir et développer des pipelines robustes en Spark (PySpark, Scala ou Java).
* Mettre en œuvre des flux de transformation et d'ingestion dans Databricks.
* Construire des workflows de traitement dans NiFi (ingestion, orchestration, transformation).
* Développer des flux d'ingestion et de préparation de données répondant aux exigences de performance et de qualité.

Ingestion & Streaming

* Mettre en place des architectures d'ingestion temps réel via Apache Kafka.
* Assurer la gestion des topics, partitions, schémas et performances Kafka.
* Superviser les flux streaming utilisés dans les applications analytiques ou opérationnelles.

Industrialisation & Orchestration

* Définir et automatiser les pipelines sur Apache Airflow (DAGs, scheduling, monitoring).
* Automatiser les environnements, déploiements et configurations via Ansible.
* Intégrer les projets data dans une logique CI/CD (Azure DevOps, Git).
* Déployer des pipelines industrialisés et fiables sur des environnements distribués.

Cloud & Plateformes

* Développer et optimiser des solutions data dans un environnement Microsoft Azure, en utilisant Azure Databricks.
* Intégrer les services Azure dans les workflows (Data Lake, Event Hub, Key Vault...).

Outils ETL et transformation

* Exploiter Apache Spark pour les transformations massives.
* Utiliser NiFi pour les flux d'ingestion et la gestion du cycle de données.
* Contribuer à des projets utilisant Dataiku (atout apprécié) pour l'orchestration visuelle, la transformation et la gouvernance.

CI/CD & DevOps Data

* Mettre en œuvre des pipelines CI/CD pour les projets data (Azure DevOps, Git).
* Assurer la qualité du code et des déploiements via tests, validations, automatisations.
* Superviser les versions, les environnements et les déploiements industrialisés.

Leadership Technique & Gouvernance

* Définir les standards de développement, les bonnes pratiques et les guidelines architecture.
* Participer activement à la communauté technique interne (Tech Leads, Lines of Business).
* Garantir la qualité, la fiabilité, la sécurité et la scalabilité des solutions data.