NeW CRFs: Neural Window Fully-connected CRFs für die monokulare Tiefenschätzung

Die Schätzung der genauen Tiefe aus einem einzigen Bild ist herausfordernd, da sie inhärent mehrdeutig und schlecht gestellt ist. Während aktuelle Ansätze zunehmend komplizierte und leistungsfähige Netzwerke entwerfen, um direkt die Tiefenkarte zu regressieren, verfolgen wir den Ansatz der CRF-Optimierung. Aufgrund der hohen Rechenkosten werden CRFs üblicherweise nur zwischen benachbarten Knoten, nicht aber auf dem gesamten Graphen durchgeführt. Um das Potenzial vollständig verbundener CRFs (FC-CRFs) besser auszunutzen, teilen wir die Eingabe in Fenster auf und führen die FC-CRF-Optimierung innerhalb jedes Fensters durch. Dies reduziert die Rechenkomplexität und macht FC-CRFs praktikabel. Um die Beziehungen zwischen den Knoten im Graphen besser zu erfassen, nutzen wir die Multi-Head-Attention-Mechanismus, um eine mehrköpfige Potentialfunktion zu berechnen, die an das Netzwerk weitergegeben wird, um eine optimierte Tiefenkarte auszugeben. Anschließend implementieren wir eine Bottom-up-Top-down-Architektur, wobei das neuronale Fenster-FC-CRF-Modul als Decoder und ein Vision Transformer als Encoder fungiert. Die Experimente zeigen, dass unsere Methode im Vergleich zu vorherigen Ansätzen die Leistung in allen Metriken sowohl auf den KITTI- als auch auf den NYUv2-Datensätzen erheblich verbessert. Darüber hinaus kann das vorgeschlagene Verfahren direkt auf Panoramabilder angewendet werden und schlägt alle bisherigen Panorama-Methoden auf dem MatterPort3D-Datensatz. Projektseite: https://weihaosky.github.io/newcrfs.