HyperAIHyperAI

Command Palette

Search for a command to run...

SpeechPrompt v2:面向语音分类任务的提示调优

Kai-Wei Chang Yu-Kai Wang Hua Shen Iu-thing Kang Wei-Cheng Tseng Shang-Wen Li Hung-yi Lee

摘要

提示调优(Prompt Tuning)是一种通过微调少量参数来引导预训练语言模型(LM)直接生成下游任务输出的技术。近期,该技术在自然语言处理(NLP)和语音处理领域均展现出优异的存储与计算效率。这些优势使得提示调优成为实现多任务统一服务预训练语言模型的有力候选方案。在语音处理领域,SpeechPrompt已在若干语音分类任务中表现出高度的参数效率和具有竞争力的性能。然而,其是否具备支持大量不同任务的能力仍待验证。为此,本文提出 SpeechPrompt v2,一种能够执行多样化语音分类任务的提示调优框架,涵盖多种语言及与语调相关的任务类型。实验结果表明,在统一框架下,SpeechPrompt v2 仅需少于 0.15M 的可训练参数,即可达到与现有先进方法相当的性能水平。


用 AI 构建 AI

从创意到上线——通过免费 AI 协同编码、开箱即用的环境和最优惠的 GPU 价格,加速您的 AI 开发。

AI 协同编码
开箱即用的 GPU
最优定价

HyperAI Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供