要約
従来の研究では、特に機械学習に基づく自動エッセイ採点システムが、エッセイの質を評価する能力に欠けており、むしろ書き込みの長さに依存していることが示されている。これは、書き込みの質とは無関係な要因である。本研究では、最先端のシステムである最新のニューラルネットワークベースのエッセイ採点システムも、標準データセットにおけるエッセイの長さと得点の相関に影響を受けている可能性があることを示す。評価の結果、非常にシンプルなニューラルモデルが、標準データセットにおいて最先端の性能を達成した。エッセイの長さに依存せずに内容の質を評価するため、入力されたエッセイと、異なる得点が付与されたエッセイとの間の内容の類似性を評価するシンプルなニューラルモデルを提案する。このモデルは、標準データセットおよび第二のデータセットの両方で、最先端の性能と同等の結果を達成した。これらの結果から、ニューラルネットワークベースのエッセイ採点システムは、データセットの特性を考慮し、テキストの質に焦点を当てるべきであると示唆される。