BRIGHT-Benchmark-Datensatz Für Die Textsuche

* Dieser Datensatz unterstützt die Online-Nutzung.Klicken Sie hier, um zu springen.

Dieser Datensatz ist ein neuer Benchmark für die Textabfrage, der 2024 von der University of Hong Kong, der Princeton University, der University of Washington und Google Cloud AI Research eingeführt wurde.BRIGHT: Ein realistischer und anspruchsvoller Benchmark für schlussfolgerungsintensives Abrufen".

BRIGHT ist der erste Benchmark für die Textsuche, der tiefgreifendes Denken erfordert, um relevante Dokumente zu finden. Das Forschungsteam sammelte 1.385 echte Abfragen aus verschiedenen Bereichen (StackExchange, LeetCode und Mathematikwettbewerbe), die alle aus echten künstlichen Daten stammten. Das Team hat diese Abfragen mit Webseiten verknüpft, die über StackExchange-Antworten und in den Aufgaben der Mathematik-Olympiade markierte Theoreme verlinkt sind.

Es ist speziell dafür konzipiert, die Leistung von Abfragesystemen bei der Verarbeitung komplexer Abfragen zu bewerten und zu testen. Diese Abfragen erfordern nicht nur die Übereinstimmung von Schlüsselwörtern, sondern auch tiefgreifende Schlussfolgerungsfähigkeiten, um relevante Dokumente zu identifizieren. Einfach ausgedrückt testet BRIGHT, ob das Abfragesystem die Logik und den Kontext hinter der Abfrage „verstehen“ kann, nicht nur den Oberflächentext. Ein Ökonom möchte beispielsweise Dokumente darüber finden, wie sich menschliche Aktivitäten auf das Klimasystem auswirken. Bei diesem Problem geht es nicht nur um die Zuordnung von Schlüsselwörtern, sondern es erfordert auch ein Verständnis der Beziehung zwischen menschlichen Aktivitäten (wie Abholzung und Urbanisierung) und dem Klimawandel.