BRIGHT テキスト検索ベンチマーク データセット

※本データセットはオンライン利用に対応しておりますが、ここをクリックしてジャンプしてください。

このデータセットは、香港大学、プリンストン大学、ワシントン大学、Google Cloud AI Research によって 2024 年に開始された新しいテキスト検索ベンチマーク テストです。関連する論文結果は次のとおりです。BRIGHT: 推論中心の検索のための現実的かつ挑戦的なベンチマーク”。

BRIGHT は、関連するドキュメントを取得するために深い推論を必要とする初のテキスト検索ベンチマークです。研究チームは、さまざまなドメイン (StackExchange、LeetCode、数学コンテスト) から 1,385 件の実際のクエリを収集しました。これらはすべて実際の人間のデータに由来しています。チームは、これらのクエリを、StackExchange の回答にリンクされている Web ページと、数学オリンピックの質問にタグ付けされた定理と組み合わせました。

これは、複雑なクエリを処理する際の検索システムのパフォーマンスを評価し、挑戦するために特別に設計されています。これらのクエリには、キーワードの一致だけでなく、関連するドキュメントを特定するための深い推論機能も必要です。簡単に言えば、BRIGHT は、検索システムが表面のテキストだけでなく、クエリの背後にあるロジックとコンテキストを「理解」できるかどうかをテストします。たとえば、経済学者は、人間の活動が気候システムにどのような影響を与えるかについての文書を見つけたいと考えています。この問題は単にキーワードのマッチングに関するものではなく、人間の活動 (森林破壊や都市化など) と気候変動の関係を理解する必要があります。