Stage évaluation des performances et de l'efficacité énergétique des llms pour détection d'intrusion f/h

Votre rôle

La combinaison des LLM et des graphes de connaissances (KGs) est une solution prometteuse pour les systèmes de détection d’intrusion où les LLM extraient des entités et des relations à partir d’entrées non structurées (journaux, rapports) en exploitant le contexte fourni par les KGs sous forme de triplets structurés composés de sujet, objet et relation. Cela complète le RAG (Retrieval Augmented Generation) traditionnel.
Pour que les LLM soient appliqués efficacement dans les workflows de cybersécurité d’une organisation, l’analyse en temps opportun de la détection des menaces est cruciale, mais leur utilisation doit être économe en énergie. Les directions à suivre sont les petits modèles de langage qui sont moins gourmands en ressources en termes de calcul et de mémoire, la quantification des modèles et une implémentation efficace de l’inférence. Ces méthodes peuvent aider à réduire la latence lors de la détection des menaces, tout en réduisant les impacts énergétiques.
Ce stage sera réalisé dans le cadre d’un projet interne visant à concevoir une solution pour la détection des mouvements latéraux.
En collaboration avec d’autres membres de l’équipe en charge du design d’une architecture à abse de LLM et de base de connaissance, votre mission spécifique consiste à:
-Identifier les métriques pertinentes pour la performance (latence, débit) et pour la consommation d’énergie lors de la génération LLM et de la récupération du contexte
-Évaluer l’impact de la taille du modèle LLM et de la quantification du modèle
-Concevoir des benchmarks et évaluer la performance des embeddings de graphes de connaissances
-Fournir des recommandations pour atteindre un compromis entre la consommation d’énergie et la précision de détection.