HyperAIHyperAI

Command Palette

Search for a command to run...

Data Upcycling Knowledge Distillation für Image Super-Resolution

Yun Zhang Wei Li Simiao Li Hanting Chen Zhijun Tu Wenjia Wang Bingyi Jing Shaohui Lin Jie Hu

Zusammenfassung

Wissensdistillation (Knowledge Distillation, KD) komprimiert tiefe neuronale Netze, indem sie aufgabenrelevante Kenntnisse von umfangreichen, vortrainierten Lehrmodellen (Teacher-Modellen) auf kompakte Schülermodelle (Student-Modelle) überträgt. Allerdings ignorieren derzeitige KD-Verfahren für Super-Resolution-(SR-)Netze die Eigenschaft der SR-Aufgabe, dass die Ausgaben des Lehrmodells Rauschapproximationen der wahren Verteilung hochwertiger Bilder (Ground Truth, GT) darstellen. Diese Rauschkomponente verschleiert das Wissen des Lehrmodells und führt zu begrenzten KD-Effekten. Um das Lehrmodell über die GT-Obergrenze hinaus nutzbar zu machen, präsentieren wir die Data Upcycling Knowledge Distillation (DUKD), die das Wissen des Lehrmodells über aufbereitete, in-domain-Daten überträgt, die aus den Trainingsdaten abgeleitet wurden. Zudem führen wir eine Label-Konsistenz-Regularisierung in die KD für SR ein, indem wir paarweise invertierbare Datenaugmentierungen verwenden, um die Leistungsfähigkeit und Robustheit des Schülermodells zu verbessern. Umfassende Experimente zeigen, dass die DUKD-Methode mehrere bestehende Ansätze auf verschiedenen SR-Aufgaben erheblich übertrifft.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp