Crystal Qian Kehang Zhu John Horton Benjamin S. Manning Vivian Tsai et al

Abstract

Koordinationsaufgaben, die traditionell von Menschen übernommen wurden, werden zunehmend an autonome Agenten delegiert. Je weiter sich dieser Trend fortsetzt, desto wichtiger wird es, nicht nur die Leistung dieser Agenten, sondern auch die Prozesse, durch die sie in dynamischen, mehragentenbasierten Umgebungen verhandeln, zu bewerten. Zudem zeigen verschiedene Agenten unterschiedliche Stärken: Traditionelle statistische Agenten, wie Bayes-Modelle, können unter gut definierten Bedingungen besonders gut abschneiden, während große Sprachmodelle (LLMs) eine höhere Generalisierbarkeit über verschiedene Kontexte hinweg aufweisen. In dieser Studie vergleichen wir Menschen (N = 216), LLMs (GPT-4o, Gemini 1.5 Pro) und Bayes-Agenten in einer dynamischen Verhandlungssituation, die direkte, identische Vergleiche zwischen den Gruppen ermöglicht und sowohl Ergebnisse als auch Verhaltensdynamiken erfasst. Bayes-Agenten erzielen durch aggressive Optimierung die höchste Überschussrendite, allerdings mit häufigen Ablehnungen von Transaktionen. Menschen und LLMs erreichen vergleichbare Gesamtüberschüsse, jedoch durch unterschiedliche Verhaltensweisen: LLMs bevorzugen konservative, konzessionäre Transaktionen mit wenigen Ablehnungen, während Menschen strategischere, risikobereitere und fairere Verhaltensmuster zeigen. Daher zeigen wir, dass Leistungsäquivalenz – ein häufiger Benchmark bei der Bewertung von Agenten – grundlegende Unterschiede in den Prozessen und der Ausrichtung (Alignment) verbergen kann, die für die praktische Anwendung in realen Koordinationsaufgaben von entscheidender Bedeutung sind.