Senior data engineer

RATP Dev a mis en place une plateforme Data groupe dans l'objectif d'industrialiser le déploiement de solutions data et business et de faciliter l'adoption d'une culture Data Driven. Ces solutions couvrent de nombreux périmètres métiers dans l’entreprise : maintenance prédictive, analyse de la charge à bord en temps réel, suivi de la fraude, campagnes marketing voyageurs, etc. L’ensemble de ces solutions permet à nos réseaux de fournir de nouveaux services à des millions de voyageurs.

L’enjeu de RATP Dev est de proposer une plateforme Data permettant de rationaliser et d'harmoniser les données en provenance de différentes filiales et de générer un socle commun, suffisamment flexible pour que les applications cibles/utilisateurs finaux (Data Analysts, Data Scientists) puissent les exploiter à bon escient.

RATP Dev a opté pour une solution technique :

* La solution Python/Airflow/DBT qui gère l’ensemble du processus ELT, depuis l’ingestion, la transformation jusqu’à la construction des datamarts Snowflake exploités dans Qlik et d'autres applications.
* La solution AWS SQS/SNS/Snowpipe pour l’ingestion des données en temps réel, basée sur du Kafka/API et AWS Lambda en Python dédié à la transformation de données.

Dans le cadre du déploiement de nouveaux cas d’usages en Opération et Maintenance, nous recherchons un(e) Senior Data Engineer et Machine Learning Engineer hybride, qui jouera un rôle crucial dans notre équipe, combinant compétences en ingénierie des données et en MLOps pour concevoir, développer et optimiser des solutions analytiques liées aux opérations des réseaux de transport dans un environnement basé sur les technologies AWS.

Cette personne sera chargée de créer des pipelines de données performants, de développer des modèles analytiques robustes et de les déployer en production, principalement en utilisant Python et les services AWS.

MISSIONS

* Conception et Développement de Pipelines de Données : Concevoir et mettre en œuvre des pipelines efficaces sur AWS, utilisant des services tels que SQS, SNS, MSK, Lambda, EventBridge, S3, MWAA (AWS Airflow).
* Assurer la collecte, le nettoyage, la transformation et la préparation des données pour leur utilisation dans les modèles analytiques.

Développement de Solutions Analytiques : Collaborer avec les équipes d'analyse pour industrialiser leurs solutions répondant aux besoins métiers. Développer et industrialiser des modèles d'Intelligence Artificielle et de Machine Learning (SageMaker, Bedrock, Comprehend, TensorFlow, scikit-learn, etc.) en utilisant des bibliothèques Python.

* Déploiement en Production et Optimisation : Déployer les modèles analytiques sur AWS, en garantissant leur scalabilité, performance et fiabilité. Mettre en place des mécanismes de surveillance et effectuer des ajustements en fonction des performances.

Collaboration et Communication : Travailler étroitement avec l'équipe pour intégrer les solutions dans l'architecture globale et communiquer les progrès, défis et solutions à l'équipe et à la direction.

#J-18808-Ljbffr