要約
一貫性はテキストの品質において重要な側面であり、その読みやすさを確保するために不可欠です。要約、質問応答、機械翻訳、質問生成、表からテキストへの変換など、テキスト生成システムからの出力においても一貫性は極めて重要です。自動の一貫性スコアリングモデルは、エッセイ評価や書き込みフィードバックの提供にも有用です。多くの先行研究では、エンティティベースの手法、文法パターン、ディスコース関係を活用し、最近では従来の深層学習アーキテクチャを使用してテキストの一貫性評価を行ってきました。しかし、これらの先行研究には長距離依存関係の処理不能や語彙外の単語への対応不足、シーケンス情報のモデリング能力の欠如などの課題があります。本稿では、一貫性評価タスクに向けた4つの異なるトランスフォーマーに基づくアーキテクチャを提案します：シンプルなトランスフォーマー（vanilla Transformer）、階層的なトランスフォーマー（hierarchical Transformer）、多タスク学習ベースのモデル（multi-task learning-based model）、および事実ベースの入力表現を持つモデル（model with fact-based input representation）。我々が複数のドメインで人気のあるベンチマークデータセットを用いて4つの異なる一貫性評価タスクで行った実験結果は、提案したモデルが既存のモデルを大幅に上回り最先端の成果を達成していることを示しています。