Steigerung der räumlichen Auflösung von Stereo-Bildern unter Verwendung eines Parallaxen-Vorwissens
{Seung-Hwan Baek Min H. Kim Inchang Choi Daniel S. Jeon}

Abstract
Wir präsentieren eine neuartige Methode zur Verbesserung der räumlichen Auflösung von Stereobildern unter Verwendung eines Parallaxen-Vorwissens. Während die traditionelle Stereobildverarbeitung darauf abzielt, die Tiefeninformation aus Stereobildern zu schätzen, nutzt unsere Methode Stereobilder stattdessen zur Verbesserung der räumlichen Auflösung, anstatt die Disparität zu schätzen. Die zentrale Herausforderung bei der Verbesserung der räumlichen Auflösung aus Stereobildern besteht darin, entsprechende Pixel mit Subpixelgenauigkeit zu registrieren. Da die Disparität in der traditionellen Stereobildverarbeitung pro Pixel berechnet wird, ist sie direkt ungeeignet für die Verbesserung der räumlichen Auflösung. Wir lernen daher ein Parallaxen-Vorwissen aus Stereobild-Datensätzen, indem wir zwei-stufige Netzwerke gemeinsam trainieren. Das erste Netzwerk lernt, die räumliche Auflösung von Stereobildern im Helligkeitskanal zu verbessern, während das zweite Netzwerk lernt, ein hochauflösendes Farbbild aus hochauflösendem Helligkeits- und Chrominanzanteil des Eingabebildes zu rekonstruieren. Unser zweistufiges gemeinsames Netzwerk verbessert die räumliche Auflösung von Stereobildern deutlich stärker als herkömmliche Einzelbild-Super-Resolution-Methoden. Die vorgeschlagene Methode ist direkt auf beliebige Stereotiefenbildverfahren anwendbar und ermöglicht es uns, die räumliche Auflösung von Stereobildern zu erhöhen.
Benchmarks
| Benchmark | Methodik | Metriken |
|---|---|---|
| stereo-image-super-resolution-on-flickr1024-1 | StereoSR | PSNR: 25.96 |
| stereo-image-super-resolution-on-flickr1024-2 | StereoSR | PSNR: 21.70 |
| stereo-image-super-resolution-on-kitti2012-2x-1 | StereoSR | PSNR: 29.51 |
| stereo-image-super-resolution-on-kitti2012-4x | StereoSR | PSNR: 24.53 |
| stereo-image-super-resolution-on-kitti2015-2x | StereoSR | PSNR: 29.33 |
| stereo-image-super-resolution-on-kitti2015-4x | StereoSR | PSNR: 24.21 |
| stereo-image-super-resolution-on-middlebury | StereoSR | PSNR: 27.64 |
| stereo-image-super-resolution-on-middlebury-1 | StereoSR | PSNR: 34.90 |
KI mit KI entwickeln
Von der Idee bis zum Start — beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und den besten GPU-Preisen.