通过数据重叠与最优批量大小缓解序列信息丢失

在序列建模任务中，标记（token）的顺序至关重要，但由于序列被离散化为数据点，这一顺序信息可能部分丢失。本文研究了某些标记对被包含在数据点中，而其他标记对未被包含所导致的不平衡现象。我们将其称为标记顺序不平衡（Token Order Imbalance, TOI），并揭示了这种部分序列信息的损失与系统整体性能下降之间的关联，该现象在文本和语音处理任务中均存在。为此，我们提出一种机制——缓解TOI（Alleviated TOI），通过迭代重叠数据点的标记组成，以充分利用完整的标记顺序信息。对于循环神经网络，我们采用质数作为批量大小（batch size），以避免在从重叠数据点构建批次时产生冗余。实验结果表明，所提出的方法在文本与语音相关任务中均达到了当前最优（state-of-the-art）性能。