Intégrateur big data (h/f)

Mission/Activités

Vous serez responsable de la conception, de l'optimisation et de l'exploitation de pipelines de traitement de données massives, dans un environnement distribué et fortement automatisé. Vous contribuerez à l'administration et à la supervision des plateformes techniques, notamment dans des contextes conteneurisés. Vous pourrez également intervenir dans l'opérationnalisation de projets IA : déploiement, mise à l'échelle et supervision de modèles de Machine Learning en production, en collaboration avec les équipes Data Science et MLOps ainsi que dans la mise en œuvre de solutions de visualisation de données techniques,

* Développer et maintenir des pipelines Big Data (batch & streaming) à forte volumétrie (plusieurs To/jour).
* Participer à l'administration et à la supervision des clusters Big Data (Hadoop, Spark, Kafka, Hive).
* Superviser les plateformes à l'aide d'outils comme Nagios, Grafana, et ELK (Elasticsearch, Logstash, Kibana).
* Gérer les déploiements de composants dans des environnements Kubernetes et OpenShift, en collaboration avec les équipes DevOps.
* Développer des traitements ou intégrations spécifiques en Java.
* Automatiser les tâches récurrentes (exploitation, déploiement, contrôle de qualité) via Airflow, Python, ou Bash.
* Assurer la sécurité, la gouvernance, la conformité (RGPD, ISO...) et la performance des traitements back office.
* Travailler en étroite collaboration avec les équipes infrastructure, sécurité et data science pour garantir un service de données fiable et scalable.
* Participer à l'industrialisation de modèles IA/ML : ingestion de données, déploiement de modèles, suivi de performance.
* Créer des dashboards de monitoring et d'analyse métier pour piloter les traitements ou visualiser les métriques critiques.