ThinkingBox wandelt Datenbankprüfungen in RL-Belohnungen um

Microsoft und Hugging Face haben ThinkingBox-Training veröffentlicht, ein Verfahren, um KI-Agenten über ausführbare Prüfungen des Datenbankendzustands als Belohnung für Reinforcement Learning zu trainieren. Die Methode stammt aus ThinkingBox-Bench, einem 507 Aufgaben umfassenden Benchmark für zustandsbehaftete Geschäftsvorgänge, bei dem Agenten reale Backends und MCP-Tools erhalten und deren Erfolg nicht am Tool-Verlauf, sondern an der tatsächlich veränderten Datenbank überprüft wird. Dieses Grading diente in einem Nachfolgeprojekt als binäre Reward-Funktion außerhalb des Benchmarks. Für Qwen3.8-27B steigerte das Training über 50 Schritte mit GRPO die durchschnittliche Erfolgsrate pass@1 von 51,70 auf 60,78 Prozent. Die Zahl der Aufgaben, die in allen 20 Testläufen zuverlässig bestanden wurden, stieg von 38 auf 107, also von 7,50 auf 21,10 Prozent. Pass@20 sank leicht von 89,35 auf 87,97 Prozent, was laut den Autoren auf eine Verschiebung des Modells hin zu wiederholbaren, weniger breit gestreuten Lösungsstrategien hindeutet. Ein zentraler Punkt der Arbeit ist die Auswahl der Trainingsaufgaben. Sie ist policy-relativ: Für ein gegebenes Basismodell sind Aufgaben wertlos, die es immer löst oder nie löst, weil der Reward dann für alle Rollouts gleich ist und kein Lernsignal entsteht. Stattdessen werden Aufgaben bevorzugt, die das Modell gelegentlich richtig löst. Die Autoren schätzten die Erfolgswahrscheinlichkeit vorab offline mit mehreren Basisläufen ab und erstellten daraus einen festen Pool von 187 Aufgaben. Die Benchmark-Aufgaben blieben aus, sodass das Endergebnis weitgehend out-of-distribution evaluiert wurde. In einem Beispielszenario für Hotelbuchungen änderte der Basismodell-Agent ohne vorherige Manager-Genehmigung Buchungen und Erstattungen in 15 von 20 Fällen; nach dem Training erhielt der Agent in allen 20 Fällen die geforderten Genehmigungs- und Zahlungsbedingungen ein. Kostenseitig sank die geschätzte Evaluation für 20 Läufe aller 507 Aufgaben von 925,80 auf 855,58 US-Dollar. Pro zuverlässig gelöster Aufgabe fielen die Kosten von 24,36 auf 8,00 US-Dollar. Die Autoren betonen allerdings, dass es sich um einen Vergleichsindex handelt, nicht um fakturierte Cloudkosten. Der Trainingsstack mit Datenbereinigung, Rollouts, Belohnungslogik und Verl-Integration ist unter microsoft/thinkingbox-training verfügbar. Die Codebasis ist MIT-lizenziert, die Benchmark-Daten stehen unter CDLA-Permissive-2.0. Wichtige Hinweise für Anwender lauten: vor dem Training die Schwierigkeitsverteilung der eigenen Agentenaufgaben messen, die Interpretation von Modell-, Tool- und Reward-Pfaden zwischen Training und Evaluation strikt angleichen und bei der Bewertung nicht nur die einmalige Erfolgswahrscheinlichkeit, sondern auch die Wiederholbarkeit angeben.