Das Guided Thought Reinforcement (GTR)-Framework wurde am 11. Juli 2025 von Forschern der Tsinghua-Universität, von Tencent und der Peking-Universität vorgeschlagen. Die zugehörigen Forschungsergebnisse wurden in einem Artikel veröffentlicht. GTR: Geführte Gedankenverstärkung verhindert Gedankenkollaps im RL-basierten VLM-Agententraining .

GTR ist ein einfaches und skalierbares Framework, das automatische Fehlerkorrektur und Reinforcement Learning kombiniert. Es wurde primär entwickelt, um das Problem des „Denkabbruchs“ bei Agenten visueller Sprachmodelle (VLM) zu beheben, die in komplexen visuellen Umgebungen mehrstufige Entscheidungen treffen müssen. Dieser Fehler entsteht durch die alleinige Fokussierung auf Ergebnisbelohnungen. Das Framework führt eine automatische Fehlerkorrektur ein, die das Denkvermögen des Agenten in jedem Schritt des Reinforcement Learnings bewertet und verbessert. Dadurch wird ein simultanes Training von Denken und Handeln ohne aufwendige manuelle Punkt-für-Punkt-Annotation ermöglicht. Forschungsergebnisse zeigen, dass GTR Denkabbrüche effektiv unterdrückt und die Leistung und Generalisierungsfähigkeit von Modellen (wie z. B. LLaVA-7B) in verschiedenen visuellen Umgebungen signifikant verbessert. In komplexen Szenarien wie dem 24-Punkte-Spiel und verkörperten Aufgaben ermöglicht es Modellen, eine 3- bis 5-mal höhere Erfolgsquote als bestehende State-of-the-Art-Modelle mit einer geringeren Anzahl an Parametern zu erreichen.