11 天前

用于文本分类的深层金字塔卷积神经网络

{Rie Johnson, Tong Zhang}
用于文本分类的深层金字塔卷积神经网络
摘要

本文提出了一种低复杂度的词级别深度卷积神经网络(CNN)架构,用于文本分类任务,能够高效地捕捉文本中的长距离依赖关系。在现有研究中,已有多项针对该任务提出的深度且复杂的神经网络模型,其设计通常基于大量训练数据的假设。然而,随着网络深度的增加,计算复杂度显著上升,这在实际应用中带来了严峻挑战。此外,近期研究发现,即使在大规模训练数据的设置下,浅层词级别CNN在准确率和运行速度上也优于当前最先进的极深层网络(如字符级别CNN)。受此启发,我们系统研究了词级别CNN的深度扩展策略,以捕捉文本的全局语义表征,最终发现一种简洁的网络架构:通过增加网络深度即可显著提升性能,而计算开销几乎不增加。我们将其命名为“深度金字塔CNN”(Deep Pyramid CNN)。实验结果表明,该模型在包含15个权重层的情况下,在六个基准数据集(涵盖情感分类与主题分类任务)上均超越了以往最优模型的性能表现。