HyperAI
Command Palette
Search for a command to run...
BLEU(Bilingual Evaluation Understudy)は、Kishore Papineni らによって2002年に提案されました。候補文と参考文の間のn-gram精度(通常1~4グラム)を計算し、長さペナルティ係数を乗じて総合スコアを算出します。スコアの範囲は0~100で、高いほど良好です。
ROUGE(Recall-Oriented Understudy for Gisting Evaluation)は、Chin-Yew Lin によって2004年に提案され、当初は自動要約評価のために使用されましたが、後に機械翻訳やテキスト生成タスクへも拡張されました。ROUGE-L は最長共通部分列(LCS)に基づいて再現率と精度の調和平均を計算し、内容の網羅性と順序の両方を考慮します。参考テキストとのn-gramの重複に基づいて生成テキストの忠実度を評価するため、参考回答が存在するオープンエンドの生成に適用可能です。数値が高いほど良好です。この指標は要約における重要情報の網羅性に敏感であり、テキスト要約評価の標準的な選択肢の一つです。
両方とも、参考回答が存在するオープンエンドの生成に使用されます。