Post-doctorant f/h étude, conception et intégration matérielle de réseaux fortement quantifiés

Contexte et atouts du poste

Contexte :
Les recherches actuelles en efficacité des réseaux de neurones incluent la quantification hétérogène, les représentations des nombres ad-hoc, le stockage des paramètres en matrices creuses, et bien d'autres stratégies aussi bien logicielles que matérielles.
Le matériel possède deux propriétés importantes : l'exploitation du parallélisme à grain fin, et la capacité de traiter des vecteurs de bits de taille quelconque.
C'est sur ces deux propriétés que l'on désire s'appuyer pour d'une part améliorer les performances de la phase d'inférence des réseaux de neurones, et d'autre part démonter la faisabilité d'une implantation sous forme de réseau systolique.

Nous disposons d'outils, aujourd'hui à but de recherche, capables de modéliser et de générer des réseaux de neurones quantifiés pour l'inférence de reseaux de type convolutionnels. Cet environnement est composé d'un outil logiciel (C/C++) et d'un ensemble de composants matériels développés au niveau RTL pour l'implémentation matérielle des couches des réseaux. Il supporte un certain nombre de fonctionnalités pour créer des implémentations personnalisées et optimisées, telles que des quantifications par layer arbitraires, équilibrage des pipelines, certaines formes de personnalisation d'opérateurs, de compression de paramètres, etc.
Les limitations principales de cet outillage est qu'il ne gère actuellement que (a) des réseaux "déroulés", c.-à-d. faisant l'hypothèse que l'ensemble des poids peut être stocké dans les mémoires internes du circuits. Cette hypothèse est mise à mal par les réseaux modernes, dont le nombre de paramètrès est très important, et nous désirons donc nous tourner vers des architectures capables de les supporter, et (b) les réseaux convolutifs, alors qu'il apparait clairement que les architectures de type Transformers (que ce soit pour la vision, le traitement du langage naturel, la génération d'image, code, texte, ...) sont incontournables.

Le projet sur lequel ce post-doctorat s'adosse est un projet académique partenarial de l'instrument "Composants pour l'IA" co-porté par l'agence du numérique et l'agence asic.

Mission confiée

Missions :
Les travaux portent d'une part sur l'étude de l'intégration de neurones fortement quantifiés dans un réseau systolique. Ces réseaux pourront être, dans un premier temps, des CNNs, mais la cible est de pourvoir également supporter les Transformers. A la différence des neurones classiques dans lesquels le calcul prend une place importante, les neurones fortement quantifiés (sub 4 bits) ne nécessitent pas de grosses ressources de calcul. Le ratio calcul/communication est donc différent, et les stratégies à élaborer pour tirer le meilleur parti du matériel restent à définir.

D'autre part, la démonstration de l'intérêt de ces stratégies est à faire, ce qui requiert l'intégration effective au sein d'une infrastructure matérielle. Celle presentie est développée par l'Irisa.

Bien évidemment, toute suggestion sur les choix scientifiques et techniques liés au déploiment à grande échelle de l'inférence est la bien venue.

Collaboration :
En interne, le travail se fera en collaboration avec plusieurs membres de l'équipe, permanents comme doctorants.
Des collaborations externes sont à prévoir avec l'Irisa (Rennes) et le CEA (Grenoble), avec potentiellement des déplacements, en particulier en début et en fin de contrat.

Principales activités

Principales activés :

1. amélioration des implémentations bas niveau des couches des réseaux;
2. conception et implémentation d'approches d'inférence efficaces en matériel de prochaine génération;
3. adaptation et mise en œuvre dans un réseau systolique;
4. intégration matérielle en coopération avec les partenaires;
5. participation à l'effort de publication et valorisation de ces travaux.

Activités complémentaires :

6. aide à la mise en œuvre sur FPGA des briques développées;
7. création de démos fonctionnelles pour des réseaux d'intérêt (Yolo, Resnets, LLMs, ...).

Compétences

Compétences techniques et niveau requis :

8. (System)Verilog, VHDL, bonne à très bonne maîtrise

Langues :

9. Anglais (équipe internationale), à l'oral comme à l'écrit

Compétences relationnelles :

10. Capacité à communiquer, à argumenter, à convaincre et à se laisser convaincre

Compétences additionnelles appréciées :

11. Autonomie, capacité rédactionnelle

Avantages

12. Restauration subventionnée
13. Transports publics remboursés partiellement
14. Congés: 7 semaines de congés annuels + 10 jours de RTT (base temps plein) + possibilité d'autorisations d'absence exceptionnelle (ex : enfants malades, déménagement)
15. Possibilité de télétravail et aménagement du temps de travail
16. Équipements professionnels à disposition (visioconférence, prêts de matériels informatiques, etc.)
17. Prestations sociales, culturelles et sportives (Association de gestion des œuvres sociales d'Inria)
18. Accès à la formation professionnelle
19. Participation employeur mutuelle santé et prévoyance (sous conditions)

Rémunération

Rémunération mensuelle : 2788€ brut / mois