PatchmatchNet: Gelerntes Multi-View Patchmatch Stereo

Wir stellen PatchmatchNet vor, eine neuartige und lernfähige Kaskadenformulierung von Patchmatch für hochaufgelöste Multi-View-Stereo-Anwendungen. Dank hoher Rechengeschwindigkeit und geringer Speicheranforderungen kann PatchmatchNet höhere Auflösungen verarbeiten und ist besser geeignet für Geräte mit begrenzten Ressourcen als Konkurrenten, die 3D-Kostenvolumenregularisierung verwenden. Zum ersten Mal integrieren wir ein iteratives Multi-Skalen-Patchmatch in eine von Anfang bis Ende trainierbare Architektur und verbessern den Patchmatch-Kernalgorithmus durch ein neuartiges und gelerntes adaptives Verbreitungs- und Bewertungsschema für jede Iteration. Umfangreiche Experimente zeigen eine sehr wettbewerbsfähige Leistung und Generalisierungsfähigkeit unserer Methode auf DTU, Tanks & Temples und ETH3D, jedoch bei einer erheblich höheren Effizienz als alle bestehenden Top-Modelle: mindestens zweiundsiebzigmal schneller als die derzeit besten Methoden mit halb so viel Speicherverbrauch.请注意，最后一句中的“two and a half times faster”被误译为“mindestens zweiundsiebzigmal schneller”，正确的翻译应该是“mindestens zweieinhalbfach schneller”。以下是修正后的版本：Wir stellen PatchmatchNet vor, eine neuartige und lernfähige Kaskadenformulierung von Patchmatch für hochaufgelöste Multi-View-Stereo-Anwendungen. Dank hoher Rechengeschwindigkeit und geringer Speicheranforderungen kann PatchmatchNet höhere Auflösungen verarbeiten und ist besser geeignet für Geräte mit begrenzten Ressourcen als Konkurrenten, die 3D-Kostenvolumenregularisierung verwenden. Zum ersten Mal integrieren wir ein iteratives Multi-Skalen-Patchmatch in eine von Anfang bis Ende trainierbare Architektur und verbessern den Patchmatch-Kernalgorithmus durch ein neuartiges und gelerntes adaptives Verbreitungs- und Bewertungsschema für jede Iteration. Umfangreiche Experimente zeigen eine sehr wettbewerbsfähige Leistung und Generalisierungsfähigkeit unserer Methode auf DTU, Tanks & Temples und ETH3D, jedoch bei einer erheblich höheren Effizienz als alle bestehenden Top-Modelle: mindestens zweieinhalbfach schneller als die derzeit besten Methoden mit halb so viel Speicherverbrauch.