ASteISR: Anpassen eines vorgefertigten Modells für die Super-Resolution von Einzelbildern zur effizienten Super-Resolution von Stereobildern

Trotz der Fortschritte im Paradigma des Vortrainings und anschließenden Feinabstimmens bei niedrigstufigen Visionssystemaufgaben bestehen erhebliche Herausforderungen, insbesondere hinsichtlich der gestiegenen Größe von vortrainierten Modellen wie Speicherverbrauch und Trainingszeit. Eine weitere häufig auftretende Sorge betrifft die unzufriedenstellenden Ergebnisse, die entstehen, wenn vortrainierte Einzelbildmodelle direkt auf den Mehrbildbereich angewendet werden. In dieser Arbeit schlagen wir eine effiziente Methode vor, um ein vortrainiertes Single-Image Super-Resolution (SISR)-Transformernetzwerk in den Bereich der Stereo-Bild-Super-Resolution (SteISR) durch eine parameter-effiziente Feinabstimmung (PEFT) zu übertragen. Insbesondere führen wir das Konzept von Stereo-Adaptern und räumlichen Adaptern ein, die in das vortrainierte SISR-Transformernetzwerk integriert werden. Anschließend wird das vortrainierte SISR-Modell eingefroren, was es uns ermöglicht, die Adapter allein mit Stereo-Datensätzen zu feinabstimmen. Durch die Anwendung dieser Trainingsmethode verbessern wir die Fähigkeit des SISR-Modells, Stereo-Bilder genauer zu rekonstruieren, um 0,79 dB auf dem Flickr1024-Datensatz. Diese Methode ermöglicht es uns, nur 4,8 % der ursprünglichen Modellparameter zu trainieren und dennoch Spitzenleistungen auf vier gängigen SteISR-Benchmarks zu erzielen. Im Vergleich zum komplexeren Verfahren des vollständigen Feinabstimmens reduziert unser Ansatz die Trainingszeit und den Speicherverbrauch um 57 % und 15 % respektive.