Skalierung der Rechenleistung zur Laufzeit für LLM-Agenten

Die Skalierung der Rechenleistung zur Testzeit hat erstaunlichen Erfolg bei der Verbesserung der Schlussfolgerungsfähigkeiten großer Sprachmodelle (LLMs) gezeigt. In dieser Arbeit führen wir die erste systematische Untersuchung der Anwendung von Testzeitskalierungsmethoden auf Sprachagenten durch und untersuchen den Umfang, in dem dies ihre Effektivität verbessert. Insbesondere untersuchen wir verschiedene Strategien zur Testzeitskalierung, darunter:1. parallele Sampling-Algorithmen;2. sequentielle Überarbeitungsstrategien;3. Verifizierungs- und Mergemethoden;4. Strategien zur Diversifizierung von Rollouts.Wir analysieren sorgfältig und isolieren die Auswirkungen verschiedener Designstrategien bei der Anwendung von Testzeitskalierung auf Sprachagenten und kommen zu folgenden Ergebnissen:1. Die Skalierung der Rechenleistung zur Testzeit kann die Leistungsfähigkeit von Agenten verbessern.2. Es ist wichtig für Agenten zu wissen, wann sie reflektieren sollten.3. Unter verschiedenen Verifizierungs- und Resultat-Mergestrategien zeigte sich die Listenweise Methode als die beste.4. Eine Erhöhung diversifizierter Rollouts hat eine positive Wirkung auf die Aufgabenleistung des Agenten.