Job details
Job Type
Full-time
Internship
Number of hires for this role
1
Full Job Description
Sujet de stage : "Knowledge Distillation from Pre-Trained Language Model
MyScript, c’est une équipe de technophiles passionnés qui ont développé un moteur d'intelligence artificielle permettant la reconnaissance de l’écriture manuscrite. Grâce à cette technologie, nos utilisateurs peuvent créer et gérer du contenu numérique, et donc booster leur efficacité.
Un système de reconnaissance d'écriture manuscrite s'appuie à la fois sur des modèles de formes et sur des modèles de langages, capables d’apporter des connaissances linguistiques. Les modèles de langages neuronaux peuvent être très volumineux et ralentir considérablement le système de reconnaissance. L’objectif du stage est d’utiliser des techniques de Knowledge Distillation [1][2] pour entrainer un modèle de langage dit Student de taille acceptable. L’approche consiste à transférer et compresser les connaissances d’un modèle dit Teacher déjà entrainé mais de très grande taille, vers un modèle Student.
Il sera envisagé de tirer profit de modèles de référence du milieu académique tels que BERT-large ou GPT2, pré-entrainés sur d’énormes quantités de données textuelles mais beaucoup trop volumineux pour être utilisés en production.
Au sein du département R&D MyScript Labs, le stage consistera à concevoir, implémenter et analyser des expériences afin d’évaluer le potentiel des méthodes de Knowledge Distillation.
Mots clé : machine learning, deep learning, knowledge distillation, transfert learning, natural language processing
Références
[1] Hinton, G., Vinyals, O., & Dean, J. (2015). Distilling the knowledge in a neural network. arXiv preprint arXiv: 1503.02531.
[2] Tang, R., Lu, Y., & Lin, J. (2019, November). Natural language generation for effective knowledge distillation. In Proceedings of the 2nd Workshop on Deep Learning Approaches for Low-Resource NLP (DeepLo 2019) (pp. 202-208).
Blogs :
https://towardsdatascience.com/knowledge-distillation-simplified-dd4973dbc764
https://blog.floydhub.com/knowledge-distillation/
https://blog.feedly.com/nlp-breakfast-8-knowledge-distillation/ (avec vidéo)
Profil
- Tu es étudiant·e en dernière année d’école d’ingénieur ou M2.
- Tu as une connaissance du langage de programmation Python et d’une librairie d’apprentissage de réseaux de neurones (PyTorch, TensorFlow).
- Tu as une connaissance des méthodes d’apprentissage automatique et des réseaux de neurones.
- Tu maîtrises de l’anglais pour la lecture d’articles scientifiques et la présentation des travaux.
Durée du contrat : 6 mois
Type d'emploi : Temps plein, Stage
Salaire : 900,00€ par mois
Avantages :
- Participation au Transport
- Titre-restaurant
- Travail à Distance
Horaires :
- Du Lundi au Vendredi
- Repos le Week-end
- Travail en journée
Télétravail:
- Temporairement en raison du COVID-19
En cliquant sur "JE DÉPOSE MON CV", vous acceptez nos CGU et déclarez avoir pris connaissance de la politique de protection des données du site jobijoba.com.