Trans4Trans: Effizienter Transformer für die Transparentobjektssegmentierung zur Unterstützung von Menschen mit Sehbehinderung beim Navigation in der realen Welt

Gewöhnliche vollverglaste Fassaden und durchsichtige Objekte stellen architektonische Barrieren dar und behindern die Mobilität von Menschen mit eingeschränkter Sehfähigkeit oder Blindheit. So ist beispielsweise ein Pfad, der hinter einer Glasschiebetür erkannt wird, nicht zugänglich, es sei denn, er wird korrekt wahrgenommen und reagiert. Die Segmentierung solcher sicherheitskritischen Objekte wird jedoch von herkömmlichen assistiven Technologien selten adressiert. Um dieses Problem anzugehen, entwickeln wir ein tragbares System mit einem neuartigen Dual-Head-Transformer-Modell namens Trans4Trans, das in der Lage ist, allgemeine und durchsichtige Objekte zu segmentieren sowie Echtzeit-Navigation zu ermöglichen, um Menschen beim alleinigen Gehen sicherer zu unterstützen. Insbesondere ermöglichen die beiden von unserem vorgeschlagenen Transformer Parsing Module (TPM) generierten Decoder eine effektive gemeinsame Lernprozesse über verschiedene Datensätze hinweg. Zudem zeichnet sich das effiziente Trans4Trans-Modell durch einen symmetrischen, auf Transformers basierenden Encoder und Decoder aus und erfordert nur geringe Rechenressourcen, sodass es problemlos auf tragbaren GPUs eingesetzt werden kann. Unser Trans4Trans-Modell erreicht auf den Testsets der Datensätze Stanford2D3D und Trans10K-v2 eine überlegene Leistung im Vergleich zu aktuellen State-of-the-Art-Methoden und erzielt mIoU-Werte von jeweils 45,13 % und 75,14 %. Durch umfangreiche Voruntersuchungen sowie eine Benutzerstudie in indoor- und outdoor-Szenarien wurde die Benutzbarkeit und Zuverlässigkeit unseres assistiven Systems umfassend bestätigt.