AgentsNet: Koordination und kollaboratives Schließen in Multi-Agenten-LLMs

Große Sprachmodelle (LLMs) haben starke Problemlösungsfähigkeiten gezeigt, insbesondere wenn sie in Multi-Agentensystemen organisiert sind. Allerdings wirft die Einführung solcher Systeme auch mehrere Fragen hinsichtlich der Fähigkeit eines komplexen Agentennetzes, sich effektiv selbst zu organisieren und zusammenzuarbeiten. Während die Leistungsmessung anhand standardisierter Denkleistungsbenchmarks zeigt, wie gut Multi-Agentensysteme Denkaufgaben lösen können, ist es unklar, ob diese Systeme ihre Topologie effektiv nutzen können. Hier stellen wir AgentsNet vor, ein neues Benchmarking-Verfahren für Multi-Agenten-Denkleistungen. Indem wir uns von klassischen Problemen der verteilten Systeme und der Graphentheorie inspirieren lassen, misst AgentsNet die Fähigkeit von Multi-Agentensystemen, unter Berücksichtigung einer Netzwerktopologie strategisch zusammenzuarbeiten, sich selbst zu organisieren und effektiv zu kommunizieren. Wir evaluieren eine Vielzahl von Baseline-Methoden auf AgentsNet, darunter homogene Agentennetzwerke, die zunächst grundlegende Protokolle für Organisation und Kommunikation vereinbaren müssen. Wir finden heraus, dass einige avantgardistische LLMs bereits bei kleinen Netzwerken starke Leistungen zeigen, aber abfallen, sobald die Netzwerkgröße steigt. Während bestehende Multi-Agenten-Benchmarks höchstens 2-5 Agenten abdecken, ist AgentsNet praktisch unbegrenzt in seiner Größe und kann mit neuen Generationen von LLMs skalieren. Daher untersuchen wir auch avantgardistische Modelle in einem Setup mit bis zu 100 Agenten.