要約
本稿では、テキスト内の長距離依存関係を効率的に表現できる低複雑度の単語レベル深層畳み込みニューラルネットワーク（CNN）アーキテクチャを提案する。従来の研究では、比較的大量の学習データを前提として、複雑な深層ネットワークがテキスト分類に用いられてきた。しかしながら、ネットワークの深さが増すにつれて計算コストが著しく上昇するため、実用的な応用において大きな課題が生じる。さらに最近の研究では、大規模な学習データを用いた状況下においても、極めて深いネットワーク（例えば文字レベルCNNなど）よりも、浅い単語レベルCNNの方が高い精度と高速性を示すことが明らかになった。このような知見を受けて、本研究では単語レベルCNNの深さを適切に増やすことで、テキストのグローバルな表現を捉える方法を詳細に検討した結果、計算コストの増加をほとんど伴わずに、ネットワークの深さを増すことで最良の精度が達成可能なシンプルなアーキテクチャを発見した。これを「深層ピラミッドCNN（deep pyramid CNN）」と呼ぶ。本研究で提案する15層の重みパラメータを持つモデルは、感情分析およびトピック分類を対象とした6つのベンチマークデータセットにおいて、従来の最良モデルを上回る性能を示した。