HyperAIHyperAI

Command Palette

Search for a command to run...

HIDA: Hin zum ganzheitlichen Verständnis von Innenräumen für Menschen mit Sehbehinderung durch semantische Instanzsegmentierung mit einem tragbaren festkörperbasierten LiDAR-Sensor

Huayao Liu Ruiping Liu Kailun Yang Jiaming Zhang Kunyu Peng Rainer Stiefelhagen

Zusammenfassung

Die eigenständige Erkundung unbekannter Räume oder die Suche nach Objekten in Innenräumen ist eine alltägliche, jedoch herausfordernde Aufgabe für sehbehinderte Menschen. Übliche 2D-Unterstützungssysteme verfügen jedoch über einen Mangel an Tiefenbeziehungen zwischen verschiedenen Objekten, was die genaue Erfassung der räumlichen Anordnung und der relativen Positionen der Objekte erschwert. Um diese Probleme zu bewältigen, stellen wir HIDA vor – ein leichtgewichtiges Assistenzsystem, das auf der 3D-Punktwolken-Instanzsegmentierung basiert und einen festkörperbasierten LiDAR-Sensor nutzt, um eine umfassende Detektion und Vermeidung von Hindernissen im Innenraum zu ermöglichen. Unser gesamtes System besteht aus drei Hardwarekomponenten, zwei interaktiven Funktionen (Hindernisvermeidung und Objektsuche) sowie einer Sprachbenutzeroberfläche. Auf Basis von Sprachanweisungen erfasst der Nutzer durch eine vor Ort durchgeführte Scanning-Aktion die aktuellste Punktwolke aus der sich verändernden Innenraumumgebung. Zudem entwickeln wir ein punktwolkenbasiertes Segmentierungsmodell mit zwei leichtgewichtigen Dekodern zur semantischen Klassifizierung und Offset-Vorhersage, das die Effizienz des gesamten Systems gewährleistet. Nach der 3D-Instanzsegmentierung werden die segmentierten Punktwolken durch eine Nachbearbeitung verarbeitet, wobei Ausreißer entfernt und alle Punkte in eine top-down 2D-Kartenrepräsentation projiziert werden. Das System integriert die gewonnenen Informationen und interagiert intuitiv mit den Nutzern über akustische Rückmeldungen. Das vorgeschlagene 3D-Instanzsegmentierungsmodell erreicht auf dem ScanNet v2-Datensatz eine state-of-the-art-Leistung. Umfassende Feldtests mit unterschiedlichen Aufgaben in einer Nutzerstudie bestätigen die Benutzerfreundlichkeit und Wirksamkeit unseres Systems bei der Unterstützung sehbehinderter Menschen im umfassenden Verständnis von Innenräumen, der Hindernisvermeidung und der Objektsuche.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp