HyperAIHyperAI

Command Palette

Search for a command to run...

FActScore

日付

FActScore は、ワシントン大学、マサチューセッツ大学アマースト校、Allen Institute for AI、Meta の研究チーム(Sewon Min ら)により 2023 年の EMNLP で提案されたもので、長文生成における事実の正確性を測定することを目的としています。まず生成されたコンテンツを独立した原子的事実(atomic facts)に分解し、次に信頼できる知識源(Wikipedia など)と照合して各事実が支持されているかを判断します。最終的なスコアは、支持された原子的事実が全原子的事実に占める割合として算出されます。

この指標は正確性のみを考慮し、再現率は計算しません。スコアの範囲は 0~100 で、通常はパーセンテージまたは 0~1 の値で報告され、数値が高いほど良いとされます。これは、生成されたコンテンツの中で検証可能な事実の割合が高いことを意味します。主に大規模言語モデルによる人物伝記や百科事典的な長文生成における事実上の信頼性を評価するために使用されます。

AIでAIを構築

アイデアからローンチまで — 無料のAIコーディング支援、すぐに使える環境、最高のGPU価格でAI開発を加速。

AI コーディング補助
すぐに使える GPU
最適な料金体系

HyperAI Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています