CSDN: Cross-modal Shape-transfer Dual-refinement Network für Point Cloud Completion

Wie können Sie ein physisches Objekt reparieren, das Teile verloren hat? Man kann sich seine ursprüngliche Form aus zuvor aufgenommenen Bildern vorstellen, zunächst die insgesamt (global) aber grobe Form rekonstruieren und anschließend die lokalen Details verfeinern. Inspiriert von diesem physischen Reparaturprozess entwickeln wir einen Ansatz zur Point-Cloud-Vervollständigung. Dazu schlagen wir ein cross-modales, formbasiertes Dual-Refinement-Netzwerk vor (kurz CSDN), ein grob-zu-fein-Paradigma mit vollständiger Beteiligung von Bildern über alle Phasen. CSDN besteht hauptsächlich aus zwei Modulen: „Shape-Fusion“ und „Dual-Refinement“, um die Herausforderung der cross-modalen Datenintegration zu bewältigen. Das erste Modul überträgt die inhärenten Formmerkmale aus einzelnen Bildern, um die Geometrie der fehlenden Bereiche in der Point Cloud zu leiten. Hierbei führen wir IPAdaIN ein, um sowohl globale Merkmale aus dem Bild als auch aus der partiellen Point Cloud in die Vervollständigung einzubetten. Das zweite Modul verfeinert die grobe Ausgabe durch Anpassung der Positionen der generierten Punkte: Die Einheit zur lokalen Verfeinerung nutzt die geometrischen Beziehungen zwischen neuen und Eingabepunkten mittels Graph-Convolution, während die Einheit zur globalen Beschränkung das Eingabebild nutzt, um die generierten Verschiebungen feinabzustimmen. Im Gegensatz zu den meisten bestehenden Ansätzen erschließt CSDN nicht nur komplementäre Informationen aus Bildern, sondern nutzt auch effektiv cross-modale Daten über den gesamten grob-zu-fein-Prozess der Vervollständigung hinweg. Experimentelle Ergebnisse zeigen, dass CSDN gegenüber zehn Konkurrenten auf dem cross-modalen Benchmark-Test besticht.