SkipFlow: ニューラルコヒーレンス特徴を用いたエンドツーエンドの自動テキスト採点

深層学習は自動テキスト採点（Automatic Text Scoring: ATS）タスクにおいて大きな可能性を示しています。本論文では、従来のニューラルネットワークモデルに補助的なニューラル一貫性特徴を追加する新しいニューラルアーキテクチャについて説明します。我々の新しい手法は、長短期記憶（Long Short-Term Memory: LSTM）ネットワークが読み込む際に隠れ表現のスナップショット間の関係をモデル化する新たな\textsc{SkipFlow}メカニズムを提案します。その後、複数のスナップショット間の意味的関係が予測の補助特徴として使用されます。これは主に二つの利点があります。第一に、エッセイは通常長いシーケンスであるため、LSTMネットワークの記憶能力が不足することがあります。複数のスナップショットへの暗黙的なアクセスは、消失勾配問題に対する保護としてこの問題を軽減することができます。\textsc{SkipFlow}メカニズムのパラメータも補助記憶として機能します。第二に、複数位置間の関係をモデル化することで、我々のモデルはテキストの一貫性を表すおよび近似する特徴を学習することができます。我々のモデルでは、これを\textit{ニューラル一貫性}特徴と呼びます。全体として、本研究では読み込み時に端から端まで一貫してニューラル一貫性特徴を生成する統合された深層学習アーキテクチャを提示します。我々の手法はベンチマークASAPデータセットにおいて最先端の性能を示し、特徴量エンジニアリング基準だけでなく他の深層学習モデルも上回っています。