HyperAIHyperAI

Command Palette

Search for a command to run...

Multi-View-3D-Rekonstruktion mit Transformer

Dan Wang Xinrui Cui Xun Chen Zhengxia Zou Tianyang Shi Septimiu Salcudean Z. Jane Wang Rabab Ward

Zusammenfassung

Bislang haben tiefes CNN-basierte Methoden die bisher besten Ergebnisse bei der Mehransicht-3D-Objektrekonstruktion erzielt. Trotz erheblicher Fortschritte werden die beiden zentralen Module dieser Ansätze – die Mehransicht-Featureextraktion und -Fusion – häufig getrennt untersucht, und die Beziehungen zwischen Objekten in verschiedenen Ansichten werden selten analysiert. In dieser Arbeit lassen wir uns von den jüngsten großen Erfolgen selbst-Attention-basierter Transformer-Modelle inspirieren und reformulieren das Problem der Mehransicht-3D-Rekonstruktion als ein Sequenz-zu-Sequenz-Vorhersageproblem. Darauf aufbauend stellen wir einen neuen Rahmen namens 3D Volume Transformer (VolT) vor. Im Gegensatz zu früheren CNN-basierten Ansätzen mit getrennter Architektur integrieren wir Featureextraktion und Ansichtsfusion in einem einzigen Transformer-Netzwerk. Ein natürlicher Vorteil unserer Architektur liegt in der Nutzung von Selbst-Attention zwischen mehreren ungeordneten Eingaben zur Exploration von Beziehungen zwischen Ansichten. Auf ShapeNet – einer großen Benchmark-Datenbank für 3D-Rekonstruktion – erreicht unsere Methode eine neue state-of-the-art Genauigkeit bei der Mehransicht-Rekonstruktion mit deutlich weniger Parametern (70 % weniger) im Vergleich zu anderen CNN-basierten Methoden. Experimentelle Ergebnisse deuten zudem auf eine starke Skalierbarkeit unserer Methode hin. Der Quellcode wird öffentlich verfügbar gemacht.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp