Zewen Chi Li Dong Qingxiu Dong Yaru Hao Xun Wu Shaohan Huang Furu Wei

Abstract

Wir erahnen ein neues Zeitalter der Künstlichen Intelligenz, das als agente Organisation bezeichnet wird, in dem Agenten komplexe Probleme durch kooperative und gleichzeitige Arbeit lösen, wodurch Ergebnisse erzielt werden, die über die individuelle Intelligenz hinausgehen. Um diese Vision zu verwirklichen, führen wir asynchrone Denkweise (AsyncThink) als ein neues Paradigma des Schlussfolgerns mit großen Sprachmodellen ein, das den internen Denkprozess in gleichzeitig ausführbare Strukturen organisiert. Konkret schlagen wir ein Denkprotokoll vor, bei dem ein Organisator dynamisch Teilfragen an Worker zuweist, Zwischenwissen zusammenführt und kohärente Lösungen generiert. Vor allem ist es möglich, die Denkstruktur dieses Protokolls mittels Verstärkungslernen weiter zu optimieren. Experimente zeigen, dass AsyncThink gegenüber der parallelen Denkweise eine um 28 % niedrigere Inferenzlatenz erreicht und gleichzeitig die Genauigkeit bei mathematischer Schlussfolgerung verbessert. Darüber hinaus verfügt AsyncThink über die Fähigkeit, seine gelernten asynchronen Denkfähigkeiten zu generalisieren und bisher unbekannte Aufgaben effektiv zu lösen, ohne zusätzliche Trainingsschritte zu erfordern.