Terminal-Bench 2.1

Une actualisation vérifiée de Terminal-Bench 2.0 : 89 tâches sélectionnées couvrant l'ingénierie logicielle, l'administration système, le traitement de données, l'entraînement de modèles et la sécurité, avec des corrections d'environnement et d'instructions afin que les scores reflètent la capacité des agents plutôt que des lacunes d'environnement.

Modèles: 114 actuel, 243 au total
Médiane: 38.6%
Plage: 0.0%–89.9%

Distribution des scores

Le plus bas: 0.0%
Médiane: 38.6%
Le plus élevé: 89.9%

Classement

Inclure les modèles obsolètes

Rang	Modèle	Score
101	Ministral 3 8B Mistral	4.1%
102	Llama 4 Scout Meta	3.7%
103	NVIDIA Nemotron 3 Nano 4B NVIDIA	3.7%
104	Qwen3.5 2B (Reasoning) Alibaba	3.0%
105	Gemma 4 E4B (Reasoning) Google	1.9%
106	K2 Horizon 0.9B Institute of Foundation Models	1.1%
107	Nanbeige4.1-3B Nanbeige	1.1%
108	Gemma 4 E2B (Reasoning) Google	0.4%
109	Phi-4 Mini Instruct Microsoft	0.4%
110	Qwen3.5 0.8B (Non-reasoning) Alibaba	0.4%
111	MiniCPM-V 4.6 1.3B OpenBMB	0.0%
112	Ministral 3 3B Mistral	0.0%
113	Qwen3.5 0.8B (Reasoning) Alibaba	0.0%
114	Qwen3.5 2B (Non-reasoning) Alibaba	0.0%

101
Ministral 3 8B
Mistral
4.1%
102
Llama 4 Scout

Données de Artificial Analysis

Command Palette

Terminal-Bench 2.1

Distribution des scores

Classement