探索音频-语言学习中的训练时与测试时增强方法

本文旨在揭示数据增强在音频-语言多模态学习中的影响，尽管其重要性已被广泛认可，但该问题尚未得到充分探索。我们不仅在训练阶段，还在测试阶段系统地考察了多种数据增强方法，发现合理的数据增强可带来显著性能提升。具体而言，我们提出的音频-语言配对增强方法PairMix（首个面向多模态音频-语言任务的数据增强方法），在自动音频描述生成与音频-文本检索两项任务中均显著优于现有基线模型。为进一步充分发挥数据增强的潜力，我们还提出了多层级测试时增强（Multi-TTA）策略，以优化测试阶段的表现。通过将所提出的PairMix与Multi-TTA方法，以及单模态增强技术有效结合，我们在音频描述生成任务上取得了47.5的SPIDEr得分，相较基线实现了18.2%的相对提升。在音频-文本检索任务中，所提出的方法同样展现出显著的性能改进。