Steigerung monokularer Tiefenschätzungsmodelle auf hohe Auflösung durch inhaltsadaptive mehrdimensionale Fusion

Neuronale Netze haben erhebliche Fähigkeiten bei der Schätzung der Tiefeninformation aus einer einzigen Bildaufnahme gezeigt. Allerdings liegen die abgeleiteten Tiefenkarten oft deutlich unter einer Auflösung von einem Megapixel und verfügen häufig über ungenügend feine Details, was ihre praktische Anwendbarkeit einschränkt. Unsere Methode basiert auf einer Analyse, wie die Eingabebildauflösung und die Szenenstruktur die Leistung der Tiefenschätzung beeinflussen. Wir zeigen, dass ein Kompromiss zwischen einer konsistenten Szenenstruktur und hochfrequenten Details besteht, und kombinieren Schätzungen mit niedriger und hoher Auflösung mittels eines einfachen Tiefen-Zusammenführungsnetzwerks, um diese Dualität zu nutzen. Wir stellen eine doppelte Schätzmethode vor, die die Tiefenschätzung über die gesamte Bildfläche verbessert, sowie eine Patch-Auswahl-Methode, die lokale Details in das Endergebnis integriert. Wir demonstrieren, dass durch die Kombination von Schätzungen auf unterschiedlichen Auflösungsstufen unter Berücksichtigung wechselnder Kontextinformationen hochauflösende Tiefenkarten mit mehreren Megapixeln und einer hohen Detailgenauigkeit mit einem vortrainierten Modell erzeugt werden können.