Command Palette
Search for a command to run...
torchdistill : un cadre modulaire et piloté par configuration pour la distillation de connaissances
torchdistill : un cadre modulaire et piloté par configuration pour la distillation de connaissances
Yoshitomo Matsubara
Résumé
Bien que la distillation de connaissances (ou transfert) attire de plus en plus l’attention de la communauté scientifique, les récents progrès dans ce domaine ont renforcé la nécessité de recherches reproductibles et de cadres généralisés afin de réduire les barrières à la recherche de haute qualité en apprentissage profond reproductible. Plusieurs chercheurs ont volontairement publié des cadres utilisés dans leurs études sur la distillation de connaissances afin d’aider d’autres chercheurs à reproduire leurs travaux originaux. Toutefois, ces cadres sont généralement peu généralisés et mal entretenus, ce qui oblige encore les chercheurs à écrire une grande quantité de code pour adapter ou construire sur ces cadres afin d’introduire de nouvelles méthodes, modèles, jeux de données ou de concevoir des expériences. Dans cet article, nous présentons notre cadre open source, développé sur PyTorch et spécifiquement dédié aux études sur la distillation de connaissances. Ce cadre est conçu pour permettre aux utilisateurs de concevoir des expériences à l’aide de fichiers de configuration déclaratifs au format PyYAML, tout en aidant les chercheurs à accomplir la liste récente de complétion du code en apprentissage automatique (ML Code Completeness Checklist). Grâce à ce cadre, nous démontrons diverses stratégies d’entraînement efficaces et mettons en œuvre un large éventail de méthodes de distillation de connaissances. Nous reproduisons également certains résultats expérimentaux originaux sur les jeux de données ImageNet et COCO, présentés lors de conférences majeures en apprentissage automatique telles que ICLR, NeurIPS, CVPR et ECCV, y compris des méthodes récentes de pointe. Tous les codes sources, configurations, fichiers d’enregistrement (log) et poids de modèles entraînés sont disponibles publiquement à l’adresse suivante : https://github.com/yoshitomo-matsubara/torchdistill.