HyperAIHyperAI

Command Palette

Search for a command to run...

vor 4 Monaten

CLOUDSPAM: Kontrastives Lernen auf unbeschrifteten Daten zur Segmentierung und Vortrainierung unter Verwendung aggregierter Punktwolken und MoCo

{and Sylvie Daniel Philippe Giguère Olivier Stocker Reza Mahmoudi Kouhi}

Abstract

SegContrast hat den Weg für das contrastive Learning auf Außenraum-Punktwolken geebnet. Ihre ursprüngliche Formulierung richtete sich auf einzelne Scans in Anwendungen wie autonomes Fahren und Objekterkennung. Für mobile Kartierungszwecke wie digitale Zwillinge von Städten und Stadtplanung sind jedoch großskalige, dichte Datensätze erforderlich, um die volle Komplexität und Vielfalt in Außenumgebungen adäquat abzubilden. In dieser Arbeit wird die SegContrast-Methode überarbeitet und an die Besonderheiten mobiler Kartierungsdatensätze angepasst, insbesondere an die Knappheit an contrastiven Paaren und die Beschränkungen des Arbeitsspeichers. Um die Knappheit an contrastiven Paaren zu überwinden, schlagen wir die Fusion heterogener Datensätze vor. Diese Fusion ist jedoch aufgrund der unterschiedlichen Größe und Punktanzahl in den Punktwolken dieser Datensätze kein trivialer Prozess. Daher entwickeln wir eine Daten-Augmentierungsmethode, die eine große Anzahl von Segmenten generiert und gleichzeitig die Größe der Punktwolkenproben an den verfügbaren Speicher anpasst. Diese Methode, CLOUDSPAM genannt, gewährleistet die Leistungsfähigkeit des selbstüberwachten Modells sowohl für kleine als auch für große mobile Kartierungs-Punktwolken. Insgesamt zeigen die Ergebnisse die Vorteile der Nutzung von Datensätzen mit einer breiten Bandbreite an Dichten und Klassenvielfalt. CLOUDSPAM erreichte auf dem KITTI-360-Datensatz die State-of-the-Art-Leistung mit einem mIoU von 63,6 % und belegte den zweiten Platz auf dem Toronto-3D-Datensatz. Schließlich erzielte CLOUDSPAM gegenüber seiner vollständig überwachten Variante konkurrenzfähige Ergebnisse, wobei lediglich 10 % der gelabelten Daten verwendet wurden.

Benchmarks

BenchmarkMethodikMetriken
3d-semantic-segmentation-on-kitti-360CLOUDSPAM
Model size: 37.9M
miou Val: 63.6
3d-semantic-segmentation-on-kitti-360DA-supervised
Model size: 37.9M
miou Val: 64.1
lidar-semantic-segmentation-on-paris-lille-3dDA-supervised
mIOU: 0.638
lidar-semantic-segmentation-on-paris-lille-3dCLOUDSPAM
mIOU: 0.738
semantic-segmentation-on-toronto-3d-l002CLOUDSPAM
mIoU: 71.8
semantic-segmentation-on-toronto-3d-l002DA-supervised
mIoU: 69.3

KI mit KI entwickeln

Von der Idee bis zum Start — beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und den besten GPU-Preisen.

KI-Co-Coding
Sofort einsatzbereit GPUs
Beste Preise
Jetzt starten

Hyper Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
CLOUDSPAM: Kontrastives Lernen auf unbeschrifteten Daten zur Segmentierung und Vortrainierung unter Verwendung aggregierter Punktwolken und MoCo | Forschungsarbeiten | HyperAI