TravelPlanner は、ツールの使用状況と複数の制約の下で言語エージェントの複雑な計画能力を評価するために設計されたベンチマーク データセットで、復丹大学、オハイオ州立大学、ペンシルバニア州立大学、メタ AI の研究者によって 2024 年にリリースされる予定です。その結果は次のとおりです。 」TravelPlanner: 言語エージェントを使用した現実世界の計画のベンチマーク”。 このデータセットには、現実世界のシナリオで言語エージェントの計画能力をテストするために設計された 1,225 の慎重に精選された計画意図と参照計画が含まれています。このデータセットは旅行計画のコンテキストにあり、言語エージェントは、交通機関、毎日の食事、観光スポット、宿泊施設を含む、指定されたクエリに基づいて包括的な旅行計画を生成する必要があります。

引用

@inproceedings{xie2024travelplanner, タイトル={TravelPlanner: 言語エージェントによる実世界プランニングのベンチマーク}、 著者={謝、建と張、カイとチェン、ジャンジエと朱、ティンホイとルー、レンゼとティアン、元東とシャオ、陽華とスー、ユウ} 書籍タイトル={第41回国際機械学習会議}、 年={2024} }