要約
自動エッセイ採点（AES）とは、エッセイの書きぶりの質に関連するスコアを予測するタスクを指す。従来のAES研究では、主に回帰目的（regression objective）または順序付け目的（ranking objective）のいずれかを用いた手法が採用されてきた。しかし、これらの2つのアプローチは互いに高い補完性を有している。本稿では、対比学習（contrastive learning）の知見に着目し、両目的を単一の損失関数として同時に最適化できる新しい統一型ニューラルペアワイズ対比回帰モデル（Neural Pairwise Contrastive Regression: NPCR）を提案する。具体的には、まず大規模なエッセイリストにおけるグローバルな順序関係を保証するためのニューラルペアワイズ順序付けモデルを設計し、さらにこのモデルを拡張して、入力エッセイと複数の参照エッセイ間の相対的スコアを予測する機能を実現している。また、推論段階ではマルチサンプル投票戦略を採用している。本研究では、公開された自動学生評価賞（Automated Student Assessment Prize: ASAP）データセットを用い、Quadratic Weighted Kappaを評価指標としてモデルの性能を検証した。実験の結果、NPCRは従来手法を大きく上回り、AESタスクにおいて最新の平均性能を達成した。