Ensemble De Données D'évaluation Des Appels De Fonctions Complexes ComplexFuncBench

ComplexFuncBench signifie Complex Function Calling Benchmark, qui est un ensemble de données de référence utilisé pour évaluer les capacités des grands modèles de langage (LLM) dans des scénarios d'appel de fonctions complexes. L'ensemble de données a été développé par des chercheurs de Zhipu AI et de l'Université Tsinghua en 2025 pour combler les lacunes des références existantes en termes d'appels de fonctions multi-étapes et restreints. Les résultats pertinents de l'article sont «ComplexFuncBench : exploration des appels de fonctions multi-étapes et contraints dans un scénario à contexte long".

L'ensemble de données couvre 1 000 échantillons d'appels de fonctions complexes dans 5 scénarios réels, dont 600 échantillons à domaine unique, 150 chacun pour les hôtels, les vols, les locations de voitures et les attractions, et 400 échantillons inter-domaines. Le domaine taxi n'a que 2 fonctions, il n'est donc utilisé que sur plusieurs domaines. Comparé aux benchmarks existants, ComplexFuncBench contient des appels de fonctions en plusieurs étapes et contraints, nécessite de longues archives d'arguments, une inférence de valeur de paramètre et un contexte de 128 Ko.