HyperAIHyperAI

Command Palette

Search for a command to run...

Trans4Trans: Effizienter Transformer für die Transparentobjektssegmentierung zur Unterstützung von Menschen mit Sehbehinderung beim Navigation in der realen Welt

Jiaming Zhang Kailun Yang Angela Constantinescu Kunyu Peng Karin Müller Rainer Stiefelhagen

Zusammenfassung

Gewöhnliche vollverglaste Fassaden und durchsichtige Objekte stellen architektonische Barrieren dar und behindern die Mobilität von Menschen mit eingeschränkter Sehfähigkeit oder Blindheit. So ist beispielsweise ein Pfad, der hinter einer Glasschiebetür erkannt wird, nicht zugänglich, es sei denn, er wird korrekt wahrgenommen und reagiert. Die Segmentierung solcher sicherheitskritischen Objekte wird jedoch von herkömmlichen assistiven Technologien selten adressiert. Um dieses Problem anzugehen, entwickeln wir ein tragbares System mit einem neuartigen Dual-Head-Transformer-Modell namens Trans4Trans, das in der Lage ist, allgemeine und durchsichtige Objekte zu segmentieren sowie Echtzeit-Navigation zu ermöglichen, um Menschen beim alleinigen Gehen sicherer zu unterstützen. Insbesondere ermöglichen die beiden von unserem vorgeschlagenen Transformer Parsing Module (TPM) generierten Decoder eine effektive gemeinsame Lernprozesse über verschiedene Datensätze hinweg. Zudem zeichnet sich das effiziente Trans4Trans-Modell durch einen symmetrischen, auf Transformers basierenden Encoder und Decoder aus und erfordert nur geringe Rechenressourcen, sodass es problemlos auf tragbaren GPUs eingesetzt werden kann. Unser Trans4Trans-Modell erreicht auf den Testsets der Datensätze Stanford2D3D und Trans10K-v2 eine überlegene Leistung im Vergleich zu aktuellen State-of-the-Art-Methoden und erzielt mIoU-Werte von jeweils 45,13 % und 75,14 %. Durch umfangreiche Voruntersuchungen sowie eine Benutzerstudie in indoor- und outdoor-Szenarien wurde die Benutzbarkeit und Zuverlässigkeit unseres assistiven Systems umfassend bestätigt.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp