Notre client dans le secteur Banque et finance recherche un Data Engineer IA - Pipelines ou Graphe ou QA/Testing H/F
Descriptif de la mission:
Digital Twins : Data Engineer ?Pipelines?
Responsabilités:
? L?ingestion des données de topologie : extraire CMDB, inventaire des services, dépendances réseau.
? La récupération des métriques opérationnelles historiques et temps-réel (logs, KPIs CPU/mémoire, latence).
? La conception de workflows d?orchestration (Airflow/Cympy) pour alimenter en continu le moteur de simulation.
? L?automatisation des synchronisations (batch et micro-batch) entre les sources réelles et le jumeau applicatif.
Compétences clés
? Maîtrise d?Airflow, DBT ou équivalent, et de frameworks de streaming léger (Cympy).
? Solides pratiques ETL/ELT
? Sensibilité aux problématiques de volumétrie et latence (< 1 min de délai idéal).
Digital Twins : Data Engineer ?Graphe?
Responsabilités :
? Modélisation du graphe applicatif : n?uds (services, bases, API), arcs (flux de données, appels).
? Implémentation des pipelines ETL/vectorisation vers TigerGraph (ou Neo4j) pour maintenir le jumeau à jour.
? Écriture de requêtes optimisées (Cypher/Gremlin) pour alimenter la couche de simulation en temps réel.
? Gestion de l?évolution du schéma graphe au fur et à mesure de l?ajout de services ou d?enrichissements.
Compétences clés
? Expérience avec TigerGraph (ou alternative) en production : sharding, indexation, backup/restore.
? Optimisation des performances graph (profilage de requêtes, caching).
? Connaissance de la vectorisation et des embeddings pour enrichir le graphe.
Digital Twins : Data Engineer « QA/testing »
Responsabilités :
? Définition et automatisation des tests de cohérence entre SI réel et digital twin (completeness, freshness).
? Tests de non-régression à chaque itération de schéma ou de pipeline (comparaison baseline vs simulation).
? Mise en place de métriques d?écart (drift) : variations acceptables des indicateurs simulés.
? Alerting et reporting en cas d?anomalie de sync (pipeline cassé, données manquantes).
Compétences clés
? Maîtrise d?outils de testing data (Great Expectations, Deequ ou équivalent).
? Sensibilité aux KPIs de qualité (accuracy, timeliness, validity).
Intégration des tests dans les pipelines CI/CD.
Compétences / Qualités indispensables: Data Engineering,IA,Python,Airflow Compétences / Qualités qui seraient un +: Anglais, expérience bancaire
Profil candidat:
Compétences clés
? Maîtrise d?Airflow, DBT ou équivalent, et de frameworks de streaming léger (Cympy).
? Solides pratiques ETL/ELT
? Sensibilité aux problématiques de volumétrie et latence (< 1 min de délai idéal).
En cliquant sur "JE DÉPOSE MON CV", vous acceptez nos CGU et déclarez avoir pris connaissance de la politique de protection des données du site jobijoba.com.