Audioverstehen ist eine multimodale Aufgabe, die künstliche Intelligenz nutzt, um Audioinformationen zu analysieren, zu erkennen und zu verstehen. Ziel ist es, Maschinen nicht nur die Verarbeitung von Schallsignalen zu ermöglichen, sondern auch deren sprachlichen Inhalt, Umgebungsinformationen, emotionale Merkmale und semantische Beziehungen zu erfassen. Diese Technologie integriert automatische Spracherkennung (ASR), Audioereigniserkennung, Verarbeitung natürlicher Sprache und multimodales Lernen und bildet eine entscheidende Grundlage für intelligente Sprachinteraktion.

Die Entwicklung des Audioverständnisses basiert auf langjähriger Forschung in verschiedenen Bereichen, darunter Sprachverarbeitung und maschinelles Lernen. Frühe Systeme behandelten Spracherkennung, Audioklassifizierung und Sprachverständnis typischerweise als unabhängige Aufgaben, was es erschwerte, Verbindungen zwischen Schallsignalen und übergeordneter Semantik herzustellen. Mit der Entwicklung umfangreicher vortrainierter Modelle und multimodalen Lernens begannen Forscher, die Kombination von Audio-Encodern mit Sprachmodellen zu untersuchen, wodurch das Modell sowohl Ton- als auch Textinformationen gleichzeitig verarbeiten kann. Im Jahr 2023 veröffentlichten Google-Forscher eine Studie… AudioPaLM: Ein umfangreiches Sprachmodell, das sprechen und zuhören kann. Das AudioPaLM-Modell wurde entwickelt, das die Sprachverständnisfähigkeit von PaLM-2 mit der Audioverarbeitungsfähigkeit kombiniert und ein umfassendes Sprachmodell-Framework mit auditiven Verstehens- und Sprachgenerierungsfähigkeiten erforscht. Es zählt zu den wichtigsten repräsentativen Studien auf dem Gebiet der Audio-Sprachmodelle (ALM).

Moderne Systeme zur Audioverarbeitung extrahieren typischerweise Klangmerkmale mithilfe von Audio-Encodern und ordnen sie mithilfe multimodaler Modelle einem linguistischen semantischen Raum zu. Dadurch ermöglichen sie Aufgaben wie Spracherkennung, Generierung von Audiobeschreibungen, Analyse von Klangereignissen und intermodales Schließen. In den letzten Jahren hat diese Technologie mit der Entwicklung grundlegender Audiomodelle und umfangreicher multimodaler Modelle breite Anwendung in Bereichen wie intelligenten Assistenten, Transkription von Besprechungen, Audiosuche, Inhaltsanalyse, barrierefreier Bedienung und Mensch-Computer-Interaktion gefunden und leistet damit einen entscheidenden technischen Beitrag zum Verständnis von Klanginformationen in der realen Welt durch Maschinen.