HyperAIHyperAI

Command Palette

Search for a command to run...

ASteISR: Anpassen eines vorgefertigten Modells für die Super-Resolution von Einzelbildern zur effizienten Super-Resolution von Stereobildern

Yuanbo Zhou Yuyang Xue Wei Deng Xinlin Zhang Qinquan Gao Tong Tong

Zusammenfassung

Trotz der Fortschritte im Paradigma des Vortrainings und anschließenden Feinabstimmens bei niedrigstufigen Visionssystemaufgaben bestehen erhebliche Herausforderungen, insbesondere hinsichtlich der gestiegenen Größe von vortrainierten Modellen wie Speicherverbrauch und Trainingszeit. Eine weitere häufig auftretende Sorge betrifft die unzufriedenstellenden Ergebnisse, die entstehen, wenn vortrainierte Einzelbildmodelle direkt auf den Mehrbildbereich angewendet werden. In dieser Arbeit schlagen wir eine effiziente Methode vor, um ein vortrainiertes Single-Image Super-Resolution (SISR)-Transformernetzwerk in den Bereich der Stereo-Bild-Super-Resolution (SteISR) durch eine parameter-effiziente Feinabstimmung (PEFT) zu übertragen. Insbesondere führen wir das Konzept von Stereo-Adaptern und räumlichen Adaptern ein, die in das vortrainierte SISR-Transformernetzwerk integriert werden. Anschließend wird das vortrainierte SISR-Modell eingefroren, was es uns ermöglicht, die Adapter allein mit Stereo-Datensätzen zu feinabstimmen. Durch die Anwendung dieser Trainingsmethode verbessern wir die Fähigkeit des SISR-Modells, Stereo-Bilder genauer zu rekonstruieren, um 0,79 dB auf dem Flickr1024-Datensatz. Diese Methode ermöglicht es uns, nur 4,8 % der ursprünglichen Modellparameter zu trainieren und dennoch Spitzenleistungen auf vier gängigen SteISR-Benchmarks zu erzielen. Im Vergleich zum komplexeren Verfahren des vollständigen Feinabstimmens reduziert unser Ansatz die Trainingszeit und den Speicherverbrauch um 57 % und 15 % respektive.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
ASteISR: Anpassen eines vorgefertigten Modells für die Super-Resolution von Einzelbildern zur effizienten Super-Resolution von Stereobildern | Paper | HyperAI