HyperAIHyperAI

Command Palette

Search for a command to run...

Pix2Vox++: Multiskalige kontextbewusste 3D-Objektrekonstruktion aus einzelnen und mehreren Bildern

Haozhe Xie Hongxun Yao Shengping Zhang Shangchen Zhou Wenxiu Sun

Zusammenfassung

Die Rekonstruktion der 3D-Form eines Objekts aus einzelnen oder mehreren Bildern mittels tiefer neuronaler Netze hat in den letzten Jahren zunehmend Aufmerksamkeit erregt. Hauptströmige Ansätze (z. B. 3D-R2N2) verwenden rekurrente neuronale Netze (RNNs), um die Merkmalskarten der Eingabebilder sequenziell zu fusionieren. Allerdings liefern RNN-basierte Methoden bei denselben Eingabebildern, die in unterschiedlicher Reihenfolge präsentiert werden, nicht konsistente Rekonstruktionsergebnisse. Zudem können RNNs wichtige Merkmale aus frühen Eingabebildern aufgrund von Langzeitgedächtnisverlusten verlieren. Um diese Probleme zu lösen, schlagen wir einen neuartigen Rahmen für die Rekonstruktion von 3D-Objekten aus einer Einzelansicht und mehreren Ansichten vor, namens Pix2Vox++. Durch einen sorgfältig entworfenen Encoder-Decoder generiert es aus jedem Eingabebild einen groben 3D-Volumen. Anschließend wird ein mehrskaliges, kontextbewusstes Fusionsmodul eingeführt, das adaptiv hochwertige Rekonstruktionen für verschiedene Bereiche aus allen groben 3D-Volumina auswählt, um ein gefundenes 3D-Volumen zu erzeugen. Um fehlerhafte Bereiche im gefundenen 3D-Volumen weiter zu korrigieren, wird ein Refiner eingesetzt, um das endgültige Ergebnis zu generieren. Experimentelle Ergebnisse auf den Benchmarks ShapeNet, Pix3D und Things3D zeigen, dass Pix2Vox++ sowohl hinsichtlich Genauigkeit als auch Effizienz gegenüber den derzeit besten Methoden besticht.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
Pix2Vox++: Multiskalige kontextbewusste 3D-Objektrekonstruktion aus einzelnen und mehreren Bildern | Paper | HyperAI