音频火烈鸟：一种具有少样本学习和对话能力的新型音频语言模型

增强大型语言模型（LLMs）以理解音频——包括非语音声音和非言语表达——对于LLMs在多种现实世界应用中的广泛使用至关重要。本文中，我们提出了一种新型的音频语言模型——Audio Flamingo，该模型具备1）强大的音频理解能力，2）通过上下文学习和检索快速适应未见过的任务的能力，以及3）强大的多轮对话能力。我们介绍了一系列训练技术、架构设计和数据策略来提升模型的这些能力。广泛的评估结果显示，我们的方法在各种音频理解任务中均有效，并设立了新的最先进基准。我们的演示网站为https://audioflamingo.github.io/，代码已开源至https://github.com/NVIDIA/audio-flamingo。