HyperAIHyperAI

Command Palette

Search for a command to run...

多格式对比学习的音频表征

Luyu Wang Aaron van den Oord

摘要

近期的研究进展表明,相较于单模态方法,多模态训练具有显著优势。然而,在本工作中,我们发现仅通过单一模态的不同格式进行训练,同样能够获得相当的性能提升。具体而言,我们探索了对比学习框架在音频表征学习中的应用,通过最大化原始音频信号与其频谱表示之间的一致性来学习音频特征。实验结果表明,相较于单一格式的训练方式,该多格式策略带来了显著的性能提升。此外,在下游的AudioSet和ESC-50分类任务中,我们的纯音频方法分别取得了0.376的平均精度(mean average precision)和90.5%的准确率,达到了当前最先进的性能水平。


用 AI 构建 AI

从创意到上线——通过免费 AI 协同编码、开箱即用的环境和最优惠的 GPU 价格,加速您的 AI 开发。

AI 协同编码
开箱即用的 GPU
最优定价

HyperAI Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供