Speech Prompted Semantic Segmentation

Sprachgesteuerte semantische Segmentierung ist eine Unterabgabe im Bereich der Computer Vision, die darauf abzielt, semantische Segmentierungsregionen in Bildern durch die Analyse der in der Stimme des Sprechers erwähnten Kategorien oder Segmentnamen vorherzusagen. Diese Technologie kombiniert Audio-Signalverarbeitung mit Bilderkennung und ermöglicht die Fusion von multimodalen Informationen, was die Genauigkeit und Robustheit des Bildverstehens erhöht. Sie hat ein breites Anwendungsspektrum, wie zum Beispiel die Unterstützung sehbehinderter Menschen bei der Wahrnehmung und Interaktion mit ihrer Umgebung sowie die Objekterkennung und -annotierung in erweiterten Realitätsanwendungen.