CenterSnap: Einstufige Mehrgegenstand-3D-Formrekonstruktion und kategorische 6D-Pose- und Größenbestimmung

Dieses Papier untersucht die komplexe Aufgabe der simultanen 3D-Rekonstruktion, 6D-Pose- und Größenbestimmung von mehreren Objekten aus einer einzigartigen RGB-D-Bildaufnahme. Im Gegensatz zur Instanz-Level-Pose-Schätzung konzentrieren wir uns auf ein anspruchsvolleres Problem, bei dem keine CAD-Modelle zur Inferenzzeit verfügbar sind. Bestehende Ansätze folgen hauptsächlich einem komplexen Mehrstufenprozess, der zunächst jede Objektinstanz im Bild lokalisiert und detektiert und dann zu deren 3D-Gittern oder 6D-Posen regressiert. Diese Ansätze leiden unter hohen Rechenkosten und schlechter Leistung in komplexen Szenarien mit mehreren Objekten, in denen Verdeckungen auftreten können. Daher präsentieren wir einen einfachen Einstufigen-Ansatz, um sowohl die 3D-Form als auch die 6D-Pose und Größe gemeinsam ohne Verwendung von Begrenzungsboxen vorherzusagen. Insbesondere behandelt unsere Methode Objektinstanzen als räumliche Zentren, wobei jedes Zentrum die vollständige Form eines Objekts zusammen mit seiner 6D-Pose und Größe darstellt. Durch diese pixelbasierte Darstellung kann unser Ansatz in Echtzeit (40 FPS) mehrere neue Objektinstanzen rekonstruieren und ihre 6D-Posen und Größen in einem einzigen Vorwärtsdurchlauf vorhersagen. Durch umfangreiche Experimente zeigen wir, dass unser Ansatz alle Baseline-Methoden für Formvervollständigung und kategorische 6D-Pose- und Größenbestimmung signifikant übertrifft: auf den Multi-Object ShapeNet-Datensatz sowie den NOCS-Datensatz jeweils um 12,6 % absolut in Bezug auf das mittlere präzisionsgewichtete Übereinstimmungsmaß (mAP) für die 6D-Pose neuer realer Objektinstanzen.