CLOUDSPAM: Kontrastives Lernen auf unbeschrifteten Daten zur Segmentierung und Vortrainierung unter Verwendung aggregierter Punktwolken und MoCo

SegContrast hat den Weg für das contrastive Learning auf Außenraum-Punktwolken geebnet. Ihre ursprüngliche Formulierung richtete sich auf einzelne Scans in Anwendungen wie autonomes Fahren und Objekterkennung. Für mobile Kartierungszwecke wie digitale Zwillinge von Städten und Stadtplanung sind jedoch großskalige, dichte Datensätze erforderlich, um die volle Komplexität und Vielfalt in Außenumgebungen adäquat abzubilden. In dieser Arbeit wird die SegContrast-Methode überarbeitet und an die Besonderheiten mobiler Kartierungsdatensätze angepasst, insbesondere an die Knappheit an contrastiven Paaren und die Beschränkungen des Arbeitsspeichers. Um die Knappheit an contrastiven Paaren zu überwinden, schlagen wir die Fusion heterogener Datensätze vor. Diese Fusion ist jedoch aufgrund der unterschiedlichen Größe und Punktanzahl in den Punktwolken dieser Datensätze kein trivialer Prozess. Daher entwickeln wir eine Daten-Augmentierungsmethode, die eine große Anzahl von Segmenten generiert und gleichzeitig die Größe der Punktwolkenproben an den verfügbaren Speicher anpasst. Diese Methode, CLOUDSPAM genannt, gewährleistet die Leistungsfähigkeit des selbstüberwachten Modells sowohl für kleine als auch für große mobile Kartierungs-Punktwolken. Insgesamt zeigen die Ergebnisse die Vorteile der Nutzung von Datensätzen mit einer breiten Bandbreite an Dichten und Klassenvielfalt. CLOUDSPAM erreichte auf dem KITTI-360-Datensatz die State-of-the-Art-Leistung mit einem mIoU von 63,6 % und belegte den zweiten Platz auf dem Toronto-3D-Datensatz. Schließlich erzielte CLOUDSPAM gegenüber seiner vollständig überwachten Variante konkurrenzfähige Ergebnisse, wobei lediglich 10 % der gelabelten Daten verwendet wurden.