Command Palette
Search for a command to run...
Zusammenstellung Von Datensätzen | Datensätze Zur Evaluierung Von KI-Agenten: 10 Datensätze, Die Von Microsoft, Der Peking-Universität, Der Universität Hongkong, Der Shanghai Jiao Tong Universität usw. Veröffentlicht Wurden Und Alles Von Langzeitgedächtnis Bis Zur Ausführung Realer Aufgaben abdecken.
Mit der kontinuierlichen Erweiterung der Leistungsfähigkeit großskaliger Modelle entwickeln sich KI-Agenten rasant von „Dialogwerkzeugen“ zu „Aufgabenausführern“ und finden zunehmend breite Anwendung in Bereichen wie der Automatisierung von Büroarbeiten, der Codegenerierung, der Datenanalyse und der Abwicklung komplexer Prozesse. Im Vergleich zu traditionellen, auf Fragen basierenden großen Sprachmodellen (LLMs) liegt der Kernwandel bei diesen Agenten in Folgendem:Es beantwortet nicht mehr nur Fragen, sondern ist in der Lage, Aufgaben zu zerlegen, Werkzeuge aufzurufen und autonom voranzuschreiten, bis das Ziel erreicht ist.
Mit zunehmender Leistungsfähigkeit von Agenten gewinnen die für Training und Evaluierung verwendeten Datensätze immer mehr an Bedeutung. Im Gegensatz zu herkömmlichen Datensätzen für einmalige Frage-Antwort-Übungen oder statische Aufgaben legen agentenbezogene Datensätze den Fokus auf „Prozessfähigkeiten“ wie langfristige Planung, mehrstufiges Denken, Werkzeugnutzung und Gedächtnis. Diese Daten entscheiden darüber, ob das Modell in realen, komplexen Aufgaben stabil ausgeführt werden kann und beeinflussen direkt die Zuverlässigkeit und die Leistungsgrenzen des Agentensystems.
Dieser Artikel fasst 10 relevante Datensätze zusammen.Es umfasst mehrere Kernkompetenzbereiche der aktuellen Agentenforschung: das Verständnis langer Kontexte und die Bewertung des Gedächtnisses, die Planung komplexer Aufgaben und mehrstufiges Denken, die Aufrufung von Werkzeugen und interaktive Ausführungsfähigkeiten sowie die Fähigkeiten zur Aufgabenerfüllung in realen oder simulierten Umgebungen.Zusammengenommen stellen diese Daten eine systematische Charakterisierung der Fähigkeiten von KI-Agenten dar.
Die Zusammensetzung dieser Datensätze offenbart auch eine Verschiebung in den Evaluierungs- und Trainingsdaten selbst: von statischen Frage-Antwort-Annotationen hin zur Modellierung des Interaktionsprozesses und der Verhaltenstrajektorien, wobei die Unterstützung der Daten für die Fähigkeit des Modells, "Dinge zu tun", im Vordergrund steht und nicht nur seine Fähigkeit, "zu antworten".
Die folgenden Datensätze stehen online bei HyperAI zur Verfügung.Ziel ist es, die Forschung und Entwicklung von Wissenschaftlern und Entwicklern in verwandten Bereichen zu beschleunigen.
Weitere hochwertige Datensätze:
Datensatzempfehlung
1. RHELM-Datensatz zur Langzeitgedächtnisbewertung
* Online nutzen:
RHELM ist ein Datensatz zur Bewertung des Langzeitgedächtnisses, der 2026 von Microsoft veröffentlicht wurde. Die zugehörige Publikation trägt den Titel „Beyond Static Dialogues: Benchmarking Realistic, Heterogeneous, and Evolving Long-Term Memory“. Ziel ist die Verbesserung des Langzeitgedächtnisses, des mehrstufigen Schließens und der Synthese zeitlicher Informationen großer Modelle in komplexen dynamischen Szenarien. RHELM findet breite Anwendung in Forschungsbereichen wie der Bewertung des Langzeitgedächtnisses großer Sprachmodelle, der Überprüfung der Langzeitinteraktionsfähigkeiten von KI-Assistenten, dem mehrstufigen Schließen großer Modelle, der Fusion zeitlicher Informationen und der Erkennung von Halluzinationen.
Der Datensatz umfasst 10 Sätze virtueller Charakterprofile, 1.305 Frage-Antwort-Paare, 629 Konversationen im JSON-Format, 625 E-Mail-Verläufe im TXT-Format und 1.053 Anhänge im MD- und HTML-Format. Die zugehörigen Fragen decken sieben Kerntypen ab: Bezugnahme auf Anhänge, gemischtes Denken, Faktenfindung, Erkennung von Illusionen, Informationsaggregation, Zeitreihenanalyse und irreführende Fragen.
2. MemLens Multimodal Long Context Benchmark-Datensatz
* Online nutzen:
MemLens ist ein Benchmark-Datensatz zur Evaluierung des Langzeitgedächtnisses für Dialoge in visuellen Sprachmodellen. Er testet die Fähigkeit des Modells, visuelle und textuelle Informationen, die in Dialogen mit mehreren Gesprächspartnern eingebettet sind, innerhalb von Kontextfenstern von 32.000, 64.000, 128.000 und 256.000 abzurufen, zu erinnern, zu aktualisieren und zu erschließen. Der Datensatz umfasst 789 Items, die fünf Evaluierungstypen abdecken: Informationsabruf, Wissensaktualisierung, zeitliches Denken, Denken über mehrere Gesprächspartner hinweg und Ablehnung (Enthaltung). Er bietet vier Konfigurationen der Kontextlänge (32.000/64.000/128.000/256.000).
Der Datensatz enthält außerdem eine feste, stratifizierte Stichprobe von 195 Fragen, die speziell zur Bewertung von speichererweiterten Agenten zur Ausbalancierung der Inferenzkosten dienen.
3. LongBlocks Long Context Multilingual Question Answering Dataset
* Online nutzen:
LongBlocks ist ein mehrsprachiger, synthetischer Datensatz mit langem Kontext, der 2026 von der Universität Lissabon, dem Institut für Telekommunikation, TransPerfect und weiteren Institutionen veröffentlicht wurde. Dieser Datensatz enthält etwa 194.000 Beispiele für Fragen und Antworten mit langem Kontext und deckt lange Dokumentkorpora wie Bücher, Webseitentexte, Wikipedia-Einträge, arXiv-Veröffentlichungen, Programmcode und Community-Fragen und -Antworten ab.
4. AgentTrove-Datensatz für Interaktionstrajektorien intelligenter Agenten
* Online nutzen:
AgentTrove ist ein umfangreicher Open-Source-Datensatz mit Interaktionsverläufen von Agenten, der vom OpenThoughts-Agent-Team veröffentlicht wurde. Dieser Datensatz umfasst 1.696.847 Datensätze aus 219 verschiedenen Datensätzen und deckt Aufgaben wie Code-Reparatur, Shell-Skripting, mathematische Problemlösung, Programmierwettbewerbe und allgemeine Computernutzung ab. Alle Verläufe wurden mithilfe des Open-Source-Frameworks Harbor zur Agentenbewertung und Datengenerierung erfasst und einheitlich im Terminus-2-Harness-Format (einem ShareGPT-ähnlichen Dialoglayout) veröffentlicht.
5. Claw-Eval Real-World Benchmark Dataset
* Online nutzen:
Claw-Eval ist ein transparenter Benchmark-Datensatz zur umfassenden Evaluierung von KI-Agenten in realen Anwendungsszenarien. Er wurde 2026 von der Peking-Universität und der Universität Hongkong veröffentlicht. Die zugehörige Publikation trägt den Titel „Claw-Eval: Auf dem Weg zu einer vertrauenswürdigen Evaluierung autonomer Agenten“. Ziel ist die Bewertung der Fähigkeit autonomer Agenten, Aufgaben auszuführen, Werkzeuge aufzurufen, Multimodalität zu verstehen und in realen Umgebungen zu interagieren. Claw-Eval findet breite Anwendung in der Evaluierung von Agentensystemen, der automatisierten Aufgabenausführung, der Forschung zu multimodalen Agenten und der Analyse der Leistungsfähigkeit großer Modelle.
Dieser Datensatz unterstützt sowohl die englische als auch die chinesische Sprache und umfasst drei Kernaufgabengruppen: Allgemein, Multimodal und Mehrrundenaufgaben. Insgesamt werden 24 Aufgabenkategorien wie Kommunikation, Finanzen, Büro und Produktivitätstools abgedeckt.
6. OpenMementos Kontextspeicherkomprimierter Datensatz
* Online nutzen:
OpenMementos ist ein von Microsoft im Jahr 2026 veröffentlichter Datensatz zur Kontext- und Speicherkomprimierung, der für die Modellierung von Inferenzprozessen über lange Ketten und die Kontextverwaltung großer Modelle entwickelt wurde. Ziel dieses Datensatzes ist es, Modelle für die Kontextkomprimierung und kontinuierliche Inferenz zu trainieren und so komplexe, mehrstufige Inferenzaufgaben innerhalb eines begrenzten Kontextfensters zu unterstützen. Er ist vielseitig einsetzbar, beispielsweise für die Modellierung von Inferenzprozessen über lange Ketten, das Training speicheroptimierter Modelle und die effiziente Generierung von Modellen.
Dieser Datensatz basiert auf dem OpenThoughts-Inferenzdatensatz und enthält 228.557 strukturierte Inferenzspuren, darunter 123.333 mathematische Spuren, 61.485 naturwissenschaftliche Spuren und 43.739 Programmierspuren. Die durchschnittliche Anzahl der Sätze pro Spur beträgt 187.
7. MIA-Datensatz für mehrstufige Inferenz und Entscheidungstrajektorien
* Online nutzen:
MIA (Memory Intelligence Agent) ist ein Datensatz, der im April 2026 gemeinsam von der Ostchinesischen Pädagogischen Universität, dem Shanghai Innovation Institute und dem Harbin Institute of Technology veröffentlicht wurde. Er dient dem Training und der Evaluierung intelligenter Agenten mit Langzeitgedächtnis und Aufgabenausführungsfähigkeiten. Die zugehörige Forschungsarbeit mit dem Titel „Memory Intelligence Agent“ zielt darauf ab, die Langzeitgedächtnisnutzung und die Fähigkeit zu mehrstufigen Entscheidungen intelligenter Agenten zu verbessern. Der Datensatz umfasst ca. 21.000 Denkprozesse, die den gesamten Ablauf von Problemlösung, Planung, Suche und Ausführung abdecken, und eignet sich für die Forschung im Bereich des Agentenlogik- und Reinforcement-Learning-Ansatzes.
8. ToolACE-Datensatz für komplexe Werkzeuglerndialoge
* Online nutzen:
ToolACE ist ein Datensatz für automatisierte Agentenpipelines zum Erlernen von Werkzeugen. Er wurde 2024 von der Shanghai Jiao Tong University in Zusammenarbeit mit der University of Science and Technology of China, dem Huawei Noah's Ark Lab und weiteren Institutionen veröffentlicht. Die zugehörige Publikation trägt den Titel „ToolACE: Winning the Points of LLM Function Calling“. Ziel ist es, präzise, komplexe und vielfältige Daten für das Werkzeuglernen zu generieren und dabei insbesondere reale Probleme wie unzureichende Datenqualität und begrenzte Szenarien beim Werkzeuglernen zu adressieren.
Dieser Datensatz enthält mehrstufige Dialogbeispiele, die insgesamt 26.507 verschiedene APIs aufrufen. Die Beispiele werden durch Interaktionen mehrerer Agenten generiert und durchlaufen einen zweistufigen Qualitätssicherungsprozess aus Regelprüfung und Modellvalidierung. Jeder Dialog repräsentiert eine mehrstufige Informationsabfrage und -analyse aus verschiedenen Quellen, simuliert realistische Tool-Aufrufszenarien und liefert wertvolle Trainingsdaten für LLM (Low-Level Modeling).
9. Datensatz für kreative Aufgabenanweisungen für Kreativprofis
* Online nutzen:
Creative Professionals Agentic Tasks ist ein umfangreicher, hochpräziser Datensatz synthetischer Aufgaben, der für das Training, die Evaluierung und die Feinabstimmung multimodaler KI-Agenten entwickelt wurde. Er umfasst 1.070.917 Agentenbefehle aus 36 kreativen, technischen und ingenieurwissenschaftlichen Softwareumgebungen. Ziel des Datensatzes ist die Erforschung komplexer Softwareinteraktionen und mehrstufiger Denkprozesse.
10. AgentNet Desktop-Operationsaufgaben-Dataset
* Online nutzen:
AgentNet ist der erste umfangreiche Datensatz für Agenten-Trajektorien auf Desktop-Computern, der 2025 vom XLANG Lab der Universität Hongkong in Zusammenarbeit mit Moonshot AI, der Stanford University und weiteren Institutionen veröffentlicht wurde. Die zugehörige Publikation trägt den Titel „OPENCUA: Open Foundations for Computer-Use Agents“ und zielt darauf ab, plattformübergreifende, GUI-gesteuerte Agenten und VLA-Modelle (Vision-Language-Action) zu unterstützen und zu evaluieren.
Dieser Datensatz enthält 22,6.000 manuell annotierte Computernutzungs-Task-Traces für Windows, macOS und Ubuntu sowie über 200 Anwendungen und Websites. Die Szenarien lassen sich in vier Kategorien einteilen: Büro, Beruf, Alltag und System. Er eignet sich für das Training und die Evaluierung von Desktop-Automatisierung, Multi-Application-Prozessen und plattformübergreifenden Agenten.
Dies sind alle in dieser Ausgabe empfohlenen Datensätze. Laden Sie sie herunter und verwenden Sie sie mit einem Klick!
