HyperAIHyperAI

Command Palette

Search for a command to run...

Sprachbasierte innenraumbezogene 3D-Semantische Segmentierung in freier Wildbahn

David Rozenberszki Or Litany Angela Dai

Zusammenfassung

Neuere Fortschritte in der 3D-Semantiksegmentierung mit tiefen neuronalen Netzen haben bemerkenswerte Erfolge gezeigt, wobei die Leistung auf verfügbaren Datensätzen rasant gestiegen ist. Allerdings enthalten aktuelle Benchmarks für die 3D-Semantiksegmentierung nur eine geringe Anzahl an Kategorien – beispielsweise weniger als 30 für ScanNet und SemanticKITTI – was nicht ausreicht, um die Vielfalt realer Umgebungen angemessen widerzuspiegeln (z. B. umfasst die semantische Bildverarbeitung Hunderte bis Tausende von Klassen). Daher schlagen wir vor, eine umfangreichere Vokabellänge für die 3D-Semantiksegmentierung zu untersuchen, indem wir einen erweiterten Benchmark auf Basis von ScanNet-Daten mit 200 Klassenkategorien vorstellen, also eine Größenordnung mehr als bisher untersucht. Diese große Anzahl an Klassenkategorien führt zudem zu einer erheblichen natürlichen Klassenungleichgewichtsverzerrung, was sowohl für bestehende Methoden zur 3D-Semantiksegmentierung herausfordernd ist. Um robusteren 3D-Features in diesem Kontext zu lernen, schlagen wir eine sprachgesteuerte Vortrainingsmethode vor, die darauf abzielt, dass gelernte 3D-Features, die möglicherweise nur wenige Trainingsbeispiele aufweisen, nahe an ihren vortrainierten Text-Embeddings liegen. Ausführliche Experimente zeigen, dass unser Ansatz konsistent die bisherigen State-of-the-Art-Methoden für das Vortrainings in der 3D-Semantiksegmentierung auf unserem vorgeschlagenen Benchmark übertrifft (+9 % relativer mIoU), einschließlich Szenarien mit begrenzten Daten (+25 % relativer mIoU bei lediglich 5 % Annotationen).


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp