NU-MCC: Mehransichtskompressionscodierung mit Nachbarschaftsdekodierer und abstoßender UDF

Bemerkenswerte Fortschritte wurden bei der 3D-Rekonstruktion aus einzigartigen RGB-D-Eingaben erzielt. MCC ist derzeit die fortschrittlichste Methode in diesem Bereich, die durch die Kombination von Vision-Transformern mit groß angelegtem Training unerwarteten Erfolg feiert. Dennoch haben wir zwei wesentliche Einschränkungen von MCC identifiziert: 1) Der Transformer-Decoder ist ineffizient bei der Verarbeitung einer großen Anzahl von Abfragepunkten; 2) Die 3D-Darstellung hat Schwierigkeiten, hochauflösende Details wiederherzustellen. In dieser Arbeit schlagen wir einen neuen Ansatz namens NU-MCC vor, der diese Einschränkungen behebt. NU-MCC umfasst zwei zentrale Innovationen: einen Neighborhood-Decoder und eine abstoßende unsigned Distanzfunktion (abstoßende UDF). Erstens führt unser Neighborhood-Decoder Mittelpunkte als effizientes Proxy für visuelle Eingabeeigenschaften ein, wodurch jeder Abfragepunkt nur auf eine kleine Nachbarschaft achten muss. Diese Konzeption führt nicht nur zu deutlich schnelleren Inferenzgeschwindigkeiten, sondern ermöglicht auch die Nutzung feiner skalierten visueller Eigenschaften zur verbesserten Wiederherstellung von 3D-Texturen. Zweitens ist unsere abstoßende UDF eine neuartige Alternative zum in MCC verwendeten Besetztheitsfeld, die die Qualität der 3D-Objektrekonstruktion erheblich steigert. Im Vergleich zu standardmäßigen UDFs, die bei den Ergebnissen Lücken aufweisen, kann unsere vorgeschlagene abstoßende UDF eine vollständigere Oberflächenrekonstruktion erreichen. Experimentelle Ergebnisse zeigen, dass NU-MCC in der Lage ist, eine starke 3D-Darstellung zu lernen und den aktuellen Stand der Technik bei der 3D-Rekonstruktion aus einer einzigen Sichtweise erheblich voranzubringen. Insbesondere übertreffen die Leistungen von NU-MCC jene von MCC um 9,7 % bezüglich des F1-Scores auf dem CO3D-v2-Datensatz und verfügen über mehr als fünfmal schnellere Laufzeiten.