Spatio-temporales selbstüberwachtes Repräsentationslernen für 3D-Punktwolken

Bisher fehlen verschiedenen 3D-Szenenverstehensaufgaben praktische und übertragbare vorab trainierte Modelle, hauptsächlich aufgrund der komplexen Natur dieser Aufgaben und den durch Kameraperspektiven, Beleuchtung, Verdeckungen usw. eingeführten erheblichen Variationen. In dieser Arbeit greifen wir diese Herausforderung auf, indem wir ein räumlich-zeitliches Repräsentationslernen (Spatio-Temporal Representation Learning, STRL) Framework einführen, das in der Lage ist, aus unbeschrifteten 3D-Punktwolken in selbstüberwachter Weise zu lernen. Inspiriert von der Art und Weise, wie Säuglinge aus natürlichen visuellen Daten lernen, untersuchen wir die reichen räumlich-zeitlichen Hinweise, die aus den 3D-Daten abgeleitet werden können. Genauer gesagt nimmt STRL zwei zeitlich korrelierte Frames aus einer 3D-Punktwolkenfolge als Eingabe entgegen, transformiert sie mit räumlicher Datenverstärkung und lernt die invariante Repräsentation in selbstüberwachter Weise. Um die Effektivität von STRL zu bestätigen, führen wir umfangreiche Experimente an drei Arten von Datensätzen (synthetisch, indoor und outdoor) durch. Die experimentellen Ergebnisse zeigen, dass im Vergleich zu überwachten Lernmethoden die gelernten selbstüberwachten Repräsentationen verschiedene Modelle dazu befähigen, vergleichbare oder sogar bessere Leistungen zu erzielen und gleichzeitig vorab trainierte Modelle für nachgelagerte Aufgaben übertragen können, darunter 3D-Formklassifizierung, 3D-Objekterkennung und 3D-semantische Segmentierung. Darüber hinaus verbessern die in 3D-Punktwolken eingebetteten räumlich-zeitlichen Kontexthinweise die gelernten Repräsentationen erheblich.