RepLiQA Ist Ein Möglicher Frage-Antwort-Datensatz Für Benchmarking

RepLiQA ist ein Auswertungsdatensatz, der Kontext-Frage-Antwort-Tripel enthält, wobei der Kontext aus nicht-faktischen, aber natürlich aussehenden Dokumenten über fiktive Entitäten besteht, die in der Realität nicht existieren (wie etwa Personen oder Orte). RepLiQA wurde künstlich erstellt, um die Fähigkeit großer Sprachmodelle (LLMs) zu testen, Kontextinformationen in bereitgestellten Dokumenten zu finden und zu verwenden. Im Gegensatz zu vorhandenen Frage-Antwort-Datensätzen stellt die faktenfreie Natur von RepLiQA sicher, dass die Leistung des Modells nicht durch die Fähigkeit des LLM, sich Fakten aus den Trainingsdaten zu merken, beeinträchtigt wird. Außerdem kann die Fähigkeit des Modells, den bereitgestellten Kontext auszunutzen, mit größerer Sicherheit getestet werden.

RepLiQA-Dokumente decken 17 Themen oder Dokumentkategorien ab, darunter Unternehmensrichtlinien, Neuigkeiten zur Cybersicherheit, lokale Technologie und Innovation, lokale Umweltprobleme, regionale Folklore und Mythologie, lokale Politik und Verwaltung, Nachrichtenberichte, lokale Wirtschaft und Markt, lokales Bildungssystem, lokale Kunst und Kultur, lokale Nachrichten, kleine und mittlere Unternehmen, Veranstaltungsberichte, regionale Lebensmittel und Rezepte, Geschichten aus der Gemeinde, lokaler Sport und lokale Aktivitäten sowie lokale Gesundheit und Wohlbefinden. In diesen Themen werden nicht-faktische Dokumente kommentiert, die fiktive/erfundene Entitäten behandeln, die nirgendwo dokumentiert sind. Jedes Dokument enthält 5 Frage-Antwort-Paare.