ComplexFuncBench は Complex Function Calling Benchmark の略で、複雑な関数呼び出しシナリオにおける大規模言語モデル (LLM) の機能を評価するために使用されるベンチマーク データ セットです。このデータセットは、2025 年に Zhipu AI と清華大学の研究者によって開発され、マルチステップおよび制限された関数呼び出しに関して既存のベンチマーク テストのギャップを埋めることを目的としています。関連する論文の結果は「」です。ComplexFuncBench: ロングコンテキスト シナリオでのマルチステップおよび制約付き関数呼び出しの調査”。 このデータ セットは、5 つの現実世界のシナリオにおける 1,000 個の複雑な関数呼び出しサンプルをカバーしています。これには、600 個の単一ドメイン サンプル、ホテル、航空券、レンタカー、景勝地のそれぞれ 150 個、および 400 個のクロスドメイン サンプルが含まれます。タクシー ドメインには 2 つの機能しかないため、ドメインをまたいでのみ使用されます。既存のベンチマークと比較すると、ComplexFuncBench には、長いパラメーターのアーカイブ、パラメーター値の推論、および 128k の長いコンテキストを必要とする、マルチステップの制約された関数呼び出しが含まれています。

引用

@misc{zhong2025complexfuncbench,
title={ComplexFuncBench: Exploring Multi-Step and Constrained Function Calling under Long-Context Scenario},
author={Lucen Zhong and Zhengxiao Du and Xiaohan Zhang and Haiyi Hu and Jie Tang},
year={2025},
eprint={2501.10132},
archivePrefix={arXiv},
primaryClass={cs.CL},
url={https://arxiv.org/abs/2501.10132},
}