L’ajustement à l’inférence (Test-Time Scaling, TTS) améliore les grands modèles linguistiques (LLM) en allouant un calcul supplémentaire durant l’inférence, généralement par une mise à l’échelle parallèle, séquentielle ou hybride. Toutefois, les études antérieures supposent souvent des architectures de collaboration fixes (par exemple, des topologies) et une utilisation d’un seul modèle, négligeant le fait que les architectures optimales et les combinaisons de modèles peuvent varier selon les tâches. Nous étudions donc le problème novateur de la recherche de combinaisons de modèles et d’architectures optimales en termes de ressources de calcul dans le cadre du TTS, sous un budget fixe. Nous formalisons ce problème comme un graphe de collaboration multi-LLM, où les nœuds codent les rôles et les affectations de modèles LLM, et les arêtes représentent le flux d’information. Ce problème est difficile en raison de (i) l’immensité de l’espace de recherche combinatoire, et de (ii) la nécessité de conceptions sur mesure adaptées aux exigences spécifiques à chaque tâche. Pour y remédier, nous reformulons le problème comme une optimisation de graphe probabiliste, et, à partir d’expériences pilotes, nous tirons trois aperçus empiriques sur les graphes de collaboration TTS. Guidés par ces aperçus, nous proposons Agent-REINFORCE, un cadre renforcé par des agents LLM, qui reprend le schéma REINFORCE en remplaçant l’étape d’échantillonnage-gradient-mise à jour par une étape d’échantillonnage-feedback-mise à jour, où le feedback agit comme un gradient textuel pour actualiser le graphe probabiliste, permettant ainsi une recherche efficace de graphes optimaux de collaboration multi-LLM. Les expérimentations montrent qu’Agent-REINFORCE surpasse à la fois les méthodes classiques et les approches basées sur les LLM en termes d’efficacité en échantillons et de performance de recherche, et parvient à identifier efficacement des graphes optimaux sous des objectifs conjoints d’exactitude et de latence d’inférence.