HIDA: Hin zum ganzheitlichen Verständnis von Innenräumen für Menschen mit Sehbehinderung durch semantische Instanzsegmentierung mit einem tragbaren festkörperbasierten LiDAR-Sensor

Die eigenständige Erkundung unbekannter Räume oder die Suche nach Objekten in Innenräumen ist eine alltägliche, jedoch herausfordernde Aufgabe für sehbehinderte Menschen. Übliche 2D-Unterstützungssysteme verfügen jedoch über einen Mangel an Tiefenbeziehungen zwischen verschiedenen Objekten, was die genaue Erfassung der räumlichen Anordnung und der relativen Positionen der Objekte erschwert. Um diese Probleme zu bewältigen, stellen wir HIDA vor – ein leichtgewichtiges Assistenzsystem, das auf der 3D-Punktwolken-Instanzsegmentierung basiert und einen festkörperbasierten LiDAR-Sensor nutzt, um eine umfassende Detektion und Vermeidung von Hindernissen im Innenraum zu ermöglichen. Unser gesamtes System besteht aus drei Hardwarekomponenten, zwei interaktiven Funktionen (Hindernisvermeidung und Objektsuche) sowie einer Sprachbenutzeroberfläche. Auf Basis von Sprachanweisungen erfasst der Nutzer durch eine vor Ort durchgeführte Scanning-Aktion die aktuellste Punktwolke aus der sich verändernden Innenraumumgebung. Zudem entwickeln wir ein punktwolkenbasiertes Segmentierungsmodell mit zwei leichtgewichtigen Dekodern zur semantischen Klassifizierung und Offset-Vorhersage, das die Effizienz des gesamten Systems gewährleistet. Nach der 3D-Instanzsegmentierung werden die segmentierten Punktwolken durch eine Nachbearbeitung verarbeitet, wobei Ausreißer entfernt und alle Punkte in eine top-down 2D-Kartenrepräsentation projiziert werden. Das System integriert die gewonnenen Informationen und interagiert intuitiv mit den Nutzern über akustische Rückmeldungen. Das vorgeschlagene 3D-Instanzsegmentierungsmodell erreicht auf dem ScanNet v2-Datensatz eine state-of-the-art-Leistung. Umfassende Feldtests mit unterschiedlichen Aufgaben in einer Nutzerstudie bestätigen die Benutzerfreundlichkeit und Wirksamkeit unseres Systems bei der Unterstützung sehbehinderter Menschen im umfassenden Verständnis von Innenräumen, der Hindernisvermeidung und der Objektsuche.