Doctorant f/h modèle de fondation tabulaire

Contexte et atouts du poste

Cette proposition de thèse se concentre sur les modèles de fondation tabulaires : des modèles d'apprentissage automatique pré-entraînés pour les données tabulaires. En particulier, cette proposition se concentrera sur des architectures neuronales bien adaptées aux données relationnelles d'entrée, des données avec des types multiples (chaînes, nombres, dates...) et souvent réparties sur plusieurs tables. Pour modéliser ces données, nous utiliserons une architecture flexible basée sur les réseaux attentionnels graphiques. Le défi sera de faire le bon choix de graphe et d'architectures correspondantes afin d'appliquer le contexte pertinent.

Mission confiée

Missions :
Avec l'aide de Gael Varoquaux, la personne recrutée fera de la recherche doctorale en apprentissage statistique pour développer des modèles tabulaires.

The goal of this PhD proposal is to build learning architectures that can fit very diverse types of a relational data, in order to 1) be pretrained on massive sources of data, 2) transfer to new tables and relational databases without requiring too much data wrangling. For this, the starting point will be to build a transformer-based architecture that models naturally the various input types: strings, dates, and numbers. Further work will adapt this architecture to multiple tables.

Principales activités

Principales activés :

1. Faire de la recherche sur les modèles tabulaires, et en particulier les modèles de fondation
2. Suivre la littérature dans le domaine
3. Publier les résultats et les présenter

Compétences

Solide bagage mathématique: statistiques, machine learning
Maîtrise de Python.
La connaissance de PyTorch est un plus.
Esprit curieux. Bonne maîtrise écrite de l'anglais

Avantages

4. Restauration subventionnée
5. Transports publics remboursés partiellement
6. Congés: 7 semaines de congés annuels + 10 jours de RTT (base temps plein) + possibilité d'autorisations d'absence exceptionnelle (ex : enfants malades, déménagement)
7. Possibilité de télétravail et aménagement du temps de travail
8. Équipements professionnels à disposition (visioconférence, prêts de matériels informatiques, etc.)
9. Prestations sociales, culturelles et sportives (Association de gestion des œuvres sociales d'Inria)
10. Accès à la formation professionnelle
11. Sécurité sociale

Rémunération

2200€ brut/mois