HyperAIHyperAI

Command Palette

Search for a command to run...

Distillation de connaissance par valorisation des données pour la super-résolution d’images

Yun Zhang Wei Li Simiao Li Hanting Chen Zhijun Tu Wenjia Wang Bingyi Jing Shaohui Lin Jie Hu

Résumé

La distillation de connaissances (KD) permet de compresser les réseaux neuronaux profonds en transférant des connaissances pertinentes à la tâche du modèle enseignant pré-entraîné, souvent volumineux, vers un modèle étudiant compact. Toutefois, les méthodes actuelles de KD appliquées aux réseaux de super-résolution (SR) négligent une caractéristique fondamentale de cette tâche : les sorties du modèle enseignant constituent des approximations bruitées de la distribution réelle des images de haute qualité (GT), ce qui atténue la qualité des connaissances transmises et limite ainsi l’efficacité de la distillation. Pour exploiter pleinement le modèle enseignant au-delà de la borne supérieure représentée par le GT, nous proposons une nouvelle méthode, nommée Data Upcycling Knowledge Distillation (DUKD), qui transfère les connaissances du modèle enseignant vers le modèle étudiant à travers des données de domaine enrichies (upcycled), dérivées des données d’entraînement. Par ailleurs, nous introduisons une régularisation de cohérence des étiquettes dans la KD pour la SR, basée sur des augmentations inversibles appariées, afin d’améliorer les performances et la robustesse du modèle étudiant. Des expériences approfondies démontrent que la méthode DUKD surpasse significativement les approches antérieures sur plusieurs tâches de super-résolution.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp
Distillation de connaissance par valorisation des données pour la super-résolution d’images | Articles | HyperAI