HyperAI
Command Palette
Search for a command to run...
BLEU(Bilingual Evaluation Understudy)は、IBM Research の Kishore Papineni らによって 2002 年に提唱され、機械翻訳およびテキスト生成分野で最も代表的な自動評価指標の一つです。候補文と参照文間の n-gram 精度(通常は 1-gram から 4-gram)を計算し、長さペナルティ因子を乗じて総合スコアを算出します。BLEU-4 は 4-gram までを用います。スコアの範囲は 0–100 で、一般的にはパーセンテージまたは 0–1 のスコアで報告され、数値が高いほど優れていることを示し、参照文とのフレーズレベルの重複度が高いことを意味します。同義語による表現の違いに敏感でないという欠点を補うため、意味論的な指標と併用されることが多いです。