La compréhension audio est une tâche multimodale qui utilise l'intelligence artificielle pour analyser, reconnaître et comprendre les informations audio. Son objectif est de permettre aux machines non seulement de traiter les signaux sonores, mais aussi de comprendre leur contenu linguistique, les informations environnementales, les caractéristiques émotionnelles et les relations sémantiques qu'ils renferment. Cette technologie intègre la reconnaissance vocale automatique (ASR), la reconnaissance d'événements audio, le traitement automatique du langage naturel et l'apprentissage multimodal, et constitue un fondement essentiel pour parvenir à une interaction vocale intelligente.

Le développement de la compréhension audio repose sur des recherches de longue haleine dans de multiples domaines, notamment le traitement de la parole et l'apprentissage automatique. Les premiers systèmes traitaient généralement la reconnaissance vocale, la classification audio et la compréhension du langage comme des tâches indépendantes, ce qui rendait difficile l'établissement de liens entre les signaux sonores et la sémantique de haut niveau. Avec le développement de modèles pré-entraînés à grande échelle et de l'apprentissage multimodal, les chercheurs ont commencé à explorer la combinaison d'encodeurs audio et de modèles de langage, permettant ainsi au modèle de traiter simultanément les informations sonores et textuelles. En 2023, des chercheurs de Google ont publié un article… AudioPaLM : un modèle de langage étendu capable de parler et d’écouter Le modèle AudioPaLM a été proposé ; il combine les capacités de compréhension du langage de PaLM-2 avec celles du traitement audio, et explore un cadre de modélisation du langage étendu intégrant la compréhension auditive et la génération de la parole. Il est devenu une étude représentative et importante dans le domaine des modèles de langage audio (ALM).

Les systèmes modernes de compréhension audio extraient généralement les caractéristiques sonores grâce à des encodeurs audio et les projettent dans un espace sémantique linguistique à l'aide de modèles multimodaux. Ils réalisent ainsi des tâches telles que la reconnaissance vocale, la génération de descriptions audio, l'analyse d'événements sonores et le raisonnement intermodal. Ces dernières années, grâce au développement de modèles audio fondamentaux et de modèles multimodaux à grande échelle, cette technologie a trouvé de nombreuses applications dans des domaines tels que les assistants intelligents, la transcription de réunions, la recherche audio, l'analyse de contenu, l'assistance à l'accessibilité et l'interaction homme-machine. Elle fournit ainsi un soutien technique essentiel aux machines pour comprendre les informations sonores dans le monde réel.