要約
再帰型ニューラルネットワーク（RNN）は、テキスト分類において顕著な性能を達成している。RNNはシーケンス全体をモデル化し、長期依存関係を捉えることができるが、キーパターンの抽出にはあまり適していない。一方、畳み込みニューラルネットワーク（CNN）は局所的かつ位置不変の特徴抽出に優れている。本論文では、RNNに位置不変性を組み込む新たなモデルである「非連結再帰型ニューラルネットワーク（DRNN）」を提案する。DRNNでは、RNN内の情報伝達の距離を制限することで、各時刻における隠れ状態が現在位置付近の単語のみを表現するように制約する。提案モデルはRNNおよびCNNモデルに比べて大幅な性能向上を達成し、複数のテキスト分類ベンチマークデータセットにおいて最良の結果を実現した。