HyperAIHyperAI

Command Palette

Search for a command to run...

Erfassung von Omni-Range-Kontext für omnidirektionale Segmentierung

Kailun Yang Jiaming Zhang Simon Reiß Xinxin Hu Rainer Stiefelhagen

Zusammenfassung

Convolutional Networks (ConvNets) zeichnen sich durch herausragende Leistung bei der semantischen Segmentierung aus und sind zu einer essenziellen Komponente der Wahrnehmung in autonomen Fahrzeugen geworden. Um eine umfassende Sicht auf Straßenumgebungen zu ermöglichen, erweisen sich omnidirektionale Kameras als idealer Ansatz für solche Systeme. Die meisten Segmentierungsmodelle zur Analyse städtischer Umgebungen basieren auf herkömmlichen Bildern mit schmalem Gesichtsfeld (Field of View, FoV). Bei der Übertragung dieser Modelle von ihrem ursprünglichen Anwendungsgebiet auf die 360-Grad-Wahrnehmung nimmt ihre Leistung drastisch ab – beispielsweise um 30,0 Prozentpunkte (mIoU) auf etablierten Testbenchs. Um die Diskrepanz hinsichtlich Gesichtsfeld und struktureller Verteilung zwischen den jeweiligen Bildgebungsdomänen zu überbrücken, führen wir Effiziente Concurrent Attention Networks (ECANets) ein, die die inhärenten langreichweitigen Abhängigkeiten in omnidirektionalen Bilddaten direkt erfassen. Neben gelernten, auf Aufmerksamkeit basierenden kontextuellen Priorisierungen, die sich über gesamte 360-Grad-Bilder erstrecken können, verbessern wir das Modelltraining durch den Einsatz von mehrquellenbasiertem und omni-supervisiertem Lernen, wobei sowohl dicht beschriftete als auch unbeschriftete Daten aus mehreren Datensätzen genutzt werden. Um den Fortschritt in der Panoramabild-Segmentierung zu fördern, präsentieren wir das Wild PAnoramic Semantic Segmentation (WildPASS)-Datenset, das vielfältige Szenen aus allen Teilen der Welt abbildet, sowie umfassend evaluieren wir darauf basierende Modelle. Unser neuartiges Modell, das Trainingsverfahren und die Fusionsstrategie für mehrquellenbasierte Vorhersagen erreichen auf den öffentlichen PASS-Benchmarks (60,2 % mIoU) und den neu eingeführten WildPASS-Benchmarks (69,0 % mIoU) neue state-of-the-art-Ergebnisse.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
Erfassung von Omni-Range-Kontext für omnidirektionale Segmentierung | Paper | HyperAI