HyperAIHyperAI

Command Palette

Search for a command to run...

torchdistill : un cadre modulaire et piloté par configuration pour la distillation de connaissances

Yoshitomo Matsubara

Résumé

Bien que la distillation de connaissances (ou transfert) attire de plus en plus l’attention de la communauté scientifique, les récents progrès dans ce domaine ont renforcé la nécessité de recherches reproductibles et de cadres généralisés afin de réduire les barrières à la recherche de haute qualité en apprentissage profond reproductible. Plusieurs chercheurs ont volontairement publié des cadres utilisés dans leurs études sur la distillation de connaissances afin d’aider d’autres chercheurs à reproduire leurs travaux originaux. Toutefois, ces cadres sont généralement peu généralisés et mal entretenus, ce qui oblige encore les chercheurs à écrire une grande quantité de code pour adapter ou construire sur ces cadres afin d’introduire de nouvelles méthodes, modèles, jeux de données ou de concevoir des expériences. Dans cet article, nous présentons notre cadre open source, développé sur PyTorch et spécifiquement dédié aux études sur la distillation de connaissances. Ce cadre est conçu pour permettre aux utilisateurs de concevoir des expériences à l’aide de fichiers de configuration déclaratifs au format PyYAML, tout en aidant les chercheurs à accomplir la liste récente de complétion du code en apprentissage automatique (ML Code Completeness Checklist). Grâce à ce cadre, nous démontrons diverses stratégies d’entraînement efficaces et mettons en œuvre un large éventail de méthodes de distillation de connaissances. Nous reproduisons également certains résultats expérimentaux originaux sur les jeux de données ImageNet et COCO, présentés lors de conférences majeures en apprentissage automatique telles que ICLR, NeurIPS, CVPR et ECCV, y compris des méthodes récentes de pointe. Tous les codes sources, configurations, fichiers d’enregistrement (log) et poids de modèles entraînés sont disponibles publiquement à l’adresse suivante : https://github.com/yoshitomo-matsubara/torchdistill.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp
torchdistill : un cadre modulaire et piloté par configuration pour la distillation de connaissances | Articles | HyperAI