HyperAI
Command Palette
Search for a command to run...
Diversity Score(Distinct-1/Distinct-2)是大規模モデルと推論分野におけるテキスト生成タスクの重要な評価指標です。元の定義(Li et al., 2015)では、異なるユニグラムおよびバイグラムの数を、それぞれ生成テキストの総単語数で割ったものとなります。これは生成コンテンツの語彙の多様性と、繰り返しを回避する能力を測定します。値が高いほど、モデルがより豊かで画一的でないテキストを生成できることを示します。
一部の後続実装やチュートリアルでは、「全n-gramの数」を分母として使用しており、これは元の論文の定義とは異なるため、比較する際は注意が必要です。通常、この指標は単位のないスコアとして報告されます。この指標は関連するベンチマークや論文で広く使用されており、モデルがこの観点での性能を効果的に反映します。数値が高いほど良いとされます。