HyperAIHyperAI

Command Palette

Search for a command to run...

CSDN: Cross-modal Shape-transfer Dual-refinement Network für Point Cloud Completion

Zhe Zhu Liangliang Nan Haoran Xie Honghua Chen Mingqiang Wei Jun Wang Jing Qin

Zusammenfassung

Wie können Sie ein physisches Objekt reparieren, das Teile verloren hat? Man kann sich seine ursprüngliche Form aus zuvor aufgenommenen Bildern vorstellen, zunächst die insgesamt (global) aber grobe Form rekonstruieren und anschließend die lokalen Details verfeinern. Inspiriert von diesem physischen Reparaturprozess entwickeln wir einen Ansatz zur Point-Cloud-Vervollständigung. Dazu schlagen wir ein cross-modales, formbasiertes Dual-Refinement-Netzwerk vor (kurz CSDN), ein grob-zu-fein-Paradigma mit vollständiger Beteiligung von Bildern über alle Phasen. CSDN besteht hauptsächlich aus zwei Modulen: „Shape-Fusion“ und „Dual-Refinement“, um die Herausforderung der cross-modalen Datenintegration zu bewältigen. Das erste Modul überträgt die inhärenten Formmerkmale aus einzelnen Bildern, um die Geometrie der fehlenden Bereiche in der Point Cloud zu leiten. Hierbei führen wir IPAdaIN ein, um sowohl globale Merkmale aus dem Bild als auch aus der partiellen Point Cloud in die Vervollständigung einzubetten. Das zweite Modul verfeinert die grobe Ausgabe durch Anpassung der Positionen der generierten Punkte: Die Einheit zur lokalen Verfeinerung nutzt die geometrischen Beziehungen zwischen neuen und Eingabepunkten mittels Graph-Convolution, während die Einheit zur globalen Beschränkung das Eingabebild nutzt, um die generierten Verschiebungen feinabzustimmen. Im Gegensatz zu den meisten bestehenden Ansätzen erschließt CSDN nicht nur komplementäre Informationen aus Bildern, sondern nutzt auch effektiv cross-modale Daten über den gesamten grob-zu-fein-Prozess der Vervollständigung hinweg. Experimentelle Ergebnisse zeigen, dass CSDN gegenüber zehn Konkurrenten auf dem cross-modalen Benchmark-Test besticht.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp