TravelPlanner ist ein Benchmark-Datensatz, der zur Bewertung der komplexen Planungsfähigkeiten von Sprachagenten unter Tool-Nutzung und Bedingungen mit mehreren Einschränkungen entwickelt wurde. Es wurde 2024 von Forschern der Fudan University, der Ohio State University, der Pennsylvania State University und Meta AI veröffentlicht. Die entsprechenden Ergebnisse der Studie sind „TravelPlanner: Ein Benchmark für die reale Planung mit Sprachagenten". Der Datensatz enthält 1.225 sorgfältig zusammengestellte Planungsabsichten und Referenzpläne, die dazu dienen, die Planungsfähigkeiten von Sprachagenten in realen Szenarien zu testen. Der Datensatz wird im Kontext der Reiseplanung erstellt und erfordert einen Sprachagenten, der auf der Grundlage einer gegebenen Abfrage einen umfassenden Reiseplan erstellt, der Transport, tägliche Mahlzeiten, Sehenswürdigkeiten und Unterkunft umfasst.

Zitat

@inproceedings{xie2024travelplanner, title={TravelPlanner: Ein Maßstab für die Reiseplanung in der Praxis mit Sprachagenten}, Autor={Xie, Jian und Zhang, Kai und Chen, Jiangjie und Zhu, Tinghui und Lou, Renze und Tian, Yuandong und Xiao, Yanghua und Su, Yu} Buchtitel={Einundvierzigste Internationale Konferenz über Maschinelles Lernen}, Jahr={2024} }