3DMatch: Lernen lokaler geometrischer Deskriptoren aus RGB-D-Rekonstruktionen

Das Abgleichen lokaler geometrischer Merkmale auf realen Tiefenbildern ist eine herausfordernde Aufgabe aufgrund der rauschigen, nieder-auflösenden und unvollständigen Natur von 3D-Scan-Daten. Diese Schwierigkeiten begrenzen die Leistung aktueller Stand-of-the-Art-Methoden, die in der Regel auf Histogrammen über geometrische Eigenschaften basieren. In dieser Arbeit stellen wir 3DMatch vor, ein datengetriebenes Modell, das einen lokalen volumetrischen Patch-Deskriptor lernt, um Korrespondenzen zwischen partiellen 3D-Daten herzustellen. Um Trainingsdaten für unser Modell zu sammeln, schlagen wir eine selbstüberwachte Merkmalslernmethode vor, die die Millionen von Korrespondenzlabels nutzt, die in bestehenden RGB-D-Rekonstruktionen gefunden werden. Experimente zeigen, dass unser Deskriptor nicht nur in der Lage ist, lokale Geometrie in neuen Szenarien für Rekonstruktionen abzugleichen, sondern auch auf verschiedene Aufgaben und räumliche Skalen verallgemeinert (z.B. Instanz-Level-Objektmodellausrichtung für den Amazon Picking Challenge und Netzflächenkorrespondenz). Die Ergebnisse zeigen, dass 3DMatch anderen Stand-of-the-Art-Ansätzen konstant um einen erheblichen Vorsprung überlegen ist. Der Quellcode, Daten, Benchmarks und vortrainierte Modelle sind online unter http://3dmatch.cs.princeton.edu verfügbar.