ピノキオ データ セットは、清華大学、イリノイ大学シカゴ校、ケンブリッジ大学の研究者によって共同作成されました。その目的は、事実の知識の保存と推論機能における大規模言語モデル (LLM) のパフォーマンスを包括的に評価することです。 このデータセットは、さまざまな情報源、タイムライン、ドメイン、地域、言語を含む 20,000 件のさまざまな事実に関する質問をカバーしています。データセットには、多事実の推論、構造化知識と非構造化知識の処理、微妙な事実の違いの特定、敵対的な例への抵抗における LLM の能力をテストする 7 つの異なるタスクが含まれています。 Pinocchio は、事実の知識の観点から LLM を発展させながら、モデルの機能を複数のレベルで理解するための強力なツールを研究者に提供します。

引用

このデータセットを引用する際は、以下のBibTeXエントリを使用してください。

@article{HuPino2023,
著者 = {Xuming Hu および
チェン・ジュンゼと
リー・シャオチュアンと
グオ・ユーフェイと
リージェ・ウェンと
フィリップ・S・ユーと
郭志江}、
タイトル = {大規模言語モデルの事実知識の理解に向けて}、
ジャーナル = {第12回国際学習表現会議、{ICLR} 2024、ウィーン見本市・会議センター、オーストリア、ウィーン
2024年5月7日から2024年5月11日まで}、
ボリューム = {2024}、
年 = {2024}、
url = {https://doi.org/10.48550/arXiv.2310.05177},
ドイ = {10.48550/ARXIV.2310.05177}、
eprinttype = {arXiv}、
eprint = {2310.05177}、
タイムスタンプ = {金、2023年10月20日 12:04:38 +0200}、
biburl = {https://dblp.org/rec/journals/corr/abs-2310-05177.bib},
bibsource = {dblp コンピュータサイエンス参考文献、https://dblp.org}
}