用于文本分类的非连接循环神经网络

循环神经网络（Recurrent Neural Network, RNN）在文本分类任务中取得了显著成果。RNN能够建模完整的序列并捕捉长期依赖关系，但在提取关键模式方面表现不佳。相比之下，卷积神经网络（Convolutional Neural Network, CNN）擅长提取局部且位置不变的特征。本文提出一种新型模型——断开式循环神经网络（Disconnected Recurrent Neural Network, DRNN），该模型将位置不变性引入RNN结构中。通过限制RNN中信息流动的距离，使得每个时间步的隐藏状态仅能表征当前位置附近的词元。实验结果表明，该模型在多个文本分类基准数据集上显著优于传统的RNN与CNN模型，取得了最优性能。