DeepSearchQA ist ein Datensatz zur Informationswiedergewinnung und Faktenbewertung für große Sprachmodelle und intelligente Agenten, der 2025 von Google DeepMind veröffentlicht wurde. Zugehörige Veröffentlichungen umfassen... DeepSearchQA: Die Lücke in der Vollständigkeit von Deep-Research-Agenten schließenZiel ist es, die Planungsfähigkeit des Modells, seine Fähigkeit zur Kontextbewahrung und seine Fähigkeit zur umfassenden Nutzung offener Netzwerkinformationen bei komplexen, mehrstufigen Informationssuchaufgaben zu bewerten.

Dieser Datensatz enthält 900 manuell erstellte Evaluierungsbeispiele aus 17 verschiedenen Domänen. Jedes Beispiel besteht aus einer Fragestellung, der zugehörigen Domänenkategorie, einer Standardantwort zur Evaluierung und einer Antworttypbezeichnung. Es werden Einzelantworten und Antwortsets unterschieden; bei etwa 651 Fragen (TP3T) muss das Modell ein vollständiges Antwortset bereitstellen. Alle Fragen sind als „Kausalkette“ konzipiert, d. h. die nachfolgende Informationssuche hängt von den Ergebnissen vorheriger Schritte ab. Das Modell muss daher mehrstufige Suchpläne ausführen und die Kontextkonsistenz langfristig gewährleisten. Alle Aufgaben basieren auf offenen Netzwerken, wodurch objektive und überprüfbare Antworten sichergestellt werden. Der Datensatz dient primär der Evaluierung großer Sprachmodelle oder intelligenter Agentensysteme mit Netzwerk-Suchfunktionen.