ピノキオ データ セットは、清華大学、イリノイ大学シカゴ校、ケンブリッジ大学の研究者によって共同作成されました。その目的は、事実の知識の保存と推論機能における大規模言語モデル (LLM) のパフォーマンスを包括的に評価することです。

このデータセットは、さまざまな情報源、タイムライン、ドメイン、地域、言語を含む 20,000 件のさまざまな事実に関する質問をカバーしています。データセットには、多事実の推論、構造化知識と非構造化知識の処理、微妙な事実の違いの特定、敵対的な例への抵抗における LLM の能力をテストする 7 つの異なるタスクが含まれています。 Pinocchio は、事実の知識の観点から LLM を発展させながら、モデルの機能を複数のレベルで理解するための強力なツールを研究者に提供します。