Kaiyan Zhang Yuxin Zuo Bingxiang He Youbang Sun Runze Liu et al

Abstract

In diesem Artikel geben wir einen Überblick über die jüngsten Fortschritte im Bereich des Verstärkenden Lernens (Reinforcement Learning, RL) zur Verbesserung der Schlussfolgerungsfähigkeiten von großen Sprachmodellen (Large Language Models, LLMs). RL hat bemerkenswerte Erfolge erzielt und die Grenzen der Fähigkeiten von LLMs erheblich erweitert, insbesondere bei komplexen logischen Aufgaben wie Mathematik und Programmierung. Als Folge dessen ist RL zu einer grundlegenden Methode geworden, um LLMs in logische Reasoning-Modelle (LRMs) zu transformieren. Angesichts der rasanten Entwicklung des Feldes stoßen die weitergehende Skalierung von RL für LRMs nun jedoch auf grundlegende Herausforderungen, die nicht nur in der Verfügbarkeit von Rechenressourcen, sondern auch in der Algorithmusgestaltung, der Beschaffung von Trainingsdaten und der Infrastruktur liegen. Daher ist es aktuell besonders angebracht, die Entwicklung dieses Forschungsfeldes erneut zu überprüfen, ihren Verlauf neu zu bewerten und Strategien zur Verbesserung der Skalierbarkeit von RL hin zu künstlicher Superintelligenz (Artificial SuperIntelligence, ASI) zu untersuchen. Insbesondere analysieren wir Forschungsarbeiten, die RL auf LLMs und LRMs anwenden, um deren Schlussfolgerungsfähigkeiten zu stärken, insbesondere seit der Veröffentlichung von DeepSeek-R1. Dabei betrachten wir grundlegende Komponenten, zentrale Probleme, verfügbare Trainingsressourcen sowie Anwendungen in nachgelagerten Aufgaben, um zukünftige Chancen und Forschungsrichtungen in diesem dynamisch sich entwickelnden Bereich zu identifizieren. Wir hoffen, dass diese Übersicht die zukünftige Forschung im Bereich des RL für allgemeinere Schlussfolgerungsmodelle fördern wird.