Sound Prompted Semantic Segmentation

Sound-gestützte semantische Segmentierung ist eine Aufgabe, die Computer Vision mit Audio-Signalverarbeitung kombiniert. Das Ziel ist es, die semantische Segmentierungsmaske von Objekten in einem Bild basierend auf gegebenen Sound-Prompts vorherzusagen. Diese Aufgabe nutzt Schallinformationen, um das visuelle Verständnis zu verbessern, was die Genauigkeit und Robustheit der Zielerkennung erhöht. Sie hat erheblichen Anwendungswert in Bereichen wie intelligente Überwachung, autonome Fahrt und Mensch-Computer-Interaktion.