CrossPoint: Selbstüberwachtes, kreuzmodales kontrastives Lernen für die Verarbeitung von 3D-Punktwolken

Die manuelle Annotation umfangreicher Punktwolken-Datensätze für verschiedene Aufgaben wie 3D-Objektklassifikation, -Segmentierung und -Erkennung ist aufgrund der unregelmäßigen Struktur von Punktwolken oft sehr aufwendig. Das selbstüberwachte Lernen, das ohne menschliche Annotationen funktioniert, ist ein vielversprechender Ansatz, um dieses Problem zu lösen. In der Realität beobachten wir, dass Menschen in der Lage sind, visuelle Konzepte aus 2D-Bildern auf den 3D-Raum zu übertragen. Angeregt durch diese Erkenntnis schlagen wir CrossPoint vor, einen einfachen multimodalen kontrastiven Lernansatz zur Erstellung übertragbarer 3D-Punktwolken-Repräsentationen. Dies ermöglicht eine 3D-2D-Korrespondenz von Objekten, indem Übereinstimmungen zwischen Punktwolken und den entsprechenden gerenderten 2D-Bildern im invarianten Raum maximiert werden, während gleichzeitig die Invarianz gegenüber Transformationen in der Punktwolken-Modellart gefördert wird. Unser gemeinsames Trainingsziel kombiniert die Merkmalskorrespondenzen innerhalb und zwischen den Modellen, sodass es ein reichhaltiges Lernsignal sowohl aus der 3D-Punktwolken- als auch aus der 2D-Bildmodellart im selbstüberwachten Modus erzeugt. Experimentelle Ergebnisse zeigen, dass unser Ansatz bei einer Vielzahl von nachgelagerten Aufgaben, einschließlich der 3D-Objektklassifikation und -Segmentierung, die bisherigen unüberwachten Lernmethoden übertrifft. Darüber hinaus bestätigen die Abschweifungsstudien (ablation studies) die Wirksamkeit unseres Ansatzes für eine bessere Verständnis von Punktwolken. Der Quellcode und vortrainierte Modelle sind unter http://github.com/MohamedAfham/CrossPoint verfügbar.