Merkmalsdomänen-angepasste kontrastive Distillation für effiziente Einzelbild-Überauflösung

Kürzlich zeigten CNN-basierte SISR-Methoden eine große Anzahl an Parametern und hohe Rechenkosten, um eine verbesserte Leistung zu erzielen, was ihre Anwendbarkeit auf ressourcenbeschränkte Geräte wie Mobiltelefone einschränkt. Als eine Methode zur Effizienzsteigerung des Netzwerks wird derzeit Knowledge Distillation (KD) erforscht, bei dem nützliches Wissen aus einem leistungsfähigeren Lehrnetz (Teacher) auf ein kleineres, effizienteres Schülernetz (Student) übertragen wird. In jüngster Zeit wird für SISR Feature Distillation (FD) eingesetzt, um die euklidische Distanz zwischen den Merkmalskarten des Lehr- und Schülernetzwerks zu minimieren. Allerdings berücksichtigt dieser Ansatz nicht ausreichend, wie Wissen effektiv und sinnvoll vom Lehrer auf das Schülernetz übertragen werden kann, um dessen Leistung unter gegebenen Kapazitätsbeschränkungen zu verbessern. In diesem Artikel stellen wir eine feature-domain adaptiv kontrastive Distillation (FACD) Methode vor, um leichtgewichtige Schüler-SISR-Netzwerke effizient zu trainieren. Wir zeigen die Grenzen bestehender FD-Methoden, die auf euklidischer Distanz basieren, und schlagen eine feature-domain kontrastive Verlustfunktion vor, die es dem Schülernetz ermöglicht, reichhaltigere Informationen aus der Darstellung des Lehrnetzwerks im Merkmalsraum zu lernen. Zudem führen wir eine adaptive Distillation ein, die die Anwendung der Distillation je nach den Bedingungen der Trainingspatches selektiv steuert. Die experimentellen Ergebnisse zeigen, dass die Schüler-Netzwerke EDSR und RCAN mit dem vorgeschlagenen FACD-Verfahren nicht nur die PSNR-Leistung über alle Benchmark-Datensätze und Skalierungen hinweg verbessern, sondern auch die subjektive Bildqualität im Vergleich zu herkömmlichen FD-Ansätzen deutlich steigern.