PhD - Formation et quantification de réseaux de neurones profonds à grande échelle pour l'apprentissage par transfert

DÉTAILS OPPORTUNITÉ

Récompense totale

0 $

Université étatique

CEA Tech

Région

Europe de l'Ouest

Pays hôte

France

Date limite

31 oct. 2021

Niveau d'études

Doctorat

Type d'opportunité

Doctorat

Spécialités

Informatique et sciences technologiques

Financement d'opportunité

Non financé

Pays éligibles

Cette opportunité est destiné à tous les pays

Région éligible

Toutes les régions

SL-DRT-21-0446

DOMAINE DE RECHERCHE

Intelligence artificielle et intelligence des données

ABSTRAIT

Formation et quantification de réseaux de neurones profonds à grande échelle pour l'apprentissage par transfert L'apprentissage par transfert est aujourd'hui une technique courante en Deep Learning qui utilise les paramètres appris d'un réseau générique (un extracteur de fonctionnalités) pour accélérer la formation d'un autre réseau sur une tâche plus spécifique. Ce réseau spécialisé est ensuite optimisé pour les contraintes matérielles du cas d'utilisation spécifique. Cependant, étant donné que les représentations de l'extracteur de caractéristiques sont souvent assez génériques, il peut être possible d'optimiser les paramètres avant le transfert, pour éviter que chaque utilisateur final doive effectuer cette optimisation par lui-même. Dans ce contexte, la thèse a les objectifs scientifiques suivants: - Utiliser plusieurs méthodes d'apprentissage «non supervisé» (auto-supervisé, faiblement supervisé, semi-supervisé) pour former des extracteurs de caractéristiques sur de grands ensembles de données - Étudier comment les méthodes d'optimisation courantes (en particulier quantification) peuvent être appliqués sur ces extracteurs de manière «indépendante de la tâche» - Quantifier l'influence de ces optimisations sur la capacité d'apprentissage par transfert, par benchmarking et analyse théorique (ex. théorie de la compression de l'information) Compétences requises: Master (ou équivalent), apprentissage automatique (en particulier Deep Learning), programmation (Python, Pytorch, Tensorflow, C ++), bon anglais (la connaissance du français n'est pas requise, mais utile)