Small Sprachmodelle können komplexe Probleme lösen – dank einer neuen kooperativen Methode von Forschern am MIT. Obwohl große Sprachmodelle (LLMs) wie GPT-4o oder o1 bei einfachen Aufgaben gut abschneiden, versagen sie oft bei anspruchsvollen, regelbasierten Aufgaben wie Sudoku, mathematischen Beweisen oder der Erstellung von Budget-Listen mit strengen Vorgaben. Kleinere Modelle sind dafür zu ungenau, große zu rechenintensiv und langsam. Um diese Lücke zu schließen, entwickelten Wissenschaftler des MIT’s Computer Science and Artificial Intelligence Laboratory (CSAIL) das Framework „DisCIPL“ (Distributional Constraints by Inference Programming with Language Models). Dabei agiert ein großes Modell als Planer, das eine Strategie entwickelt und diese an kleinere „Follower“-Modelle weitergibt. Diese führen dann spezifische Teilaufgaben aus – etwa jedes einzelne Wort eines Textes – unter Berücksichtigung von Regeln, die in einer gemeinsamen Programmiersprache, LLaMPPL, kodiert sind. Diese Sprache ermöglicht es, strenge Bedingungen wie „die achte Zeile muss genau acht Wörter haben“ präzise zu formulieren. In Tests übertraf DisCIPL sowohl den GPT-4o-Planer als auch den hochperformanten o1-System, insbesondere bei Aufgaben mit klaren Einschränkungen – etwa Texte mit exakt 18 Wörtern, wobei bestimmte Positionen bestimmte Wörter enthalten müssen. Dabei erreichte DisCIPL eine hohe Genauigkeit und Kohärenz, nahe an o1, war aber deutlich effizienter: Die Forscher konnten bis zu 80,2 Prozent Kosten einsparen und die Rechenzeit um 40,1 Prozent verkürzen, weil DisCIPL statt natürlicher Sprache programmatisch über Python „schließt“. Die Nutzung tausender kleiner Llama-3.2-1B-Modelle als Follower – die pro Token tausend bis zehntausendmal günstiger sind als LLMs – ermöglicht eine skalierbare, kostengünstige Parallelverarbeitung. Auch in realen Anwendungen wie Reiseplänen, Zutatenlisten oder Förderanträgen mit Wortgrenzen zeigte DisCIPL überlegene Leistung gegenüber GPT-4o und dem Follower-only-Baseline, der angesichts komplexer Anweisungen versagte. Die Forscher sehen in DisCIPL einen Paradigmenwechsel: Es ist nicht mehr nur die Modellgröße, die zählt, sondern die intelligente Kooperation zwischen Modellen unterschiedlicher Größe. Senior-Autor Jacob Andreas betont, dass nun auch die Textgenerierung selbst formalisiert werden kann – ähnlich wie in Mathematik oder Robotik – mit denselben Effizienz- und Sicherheitsvorteilen. Zukunftsperspektiven umfassen eine rekursive Anwendung, bei der ein Modell gleichzeitig Planer und Follower ist, sowie Anwendungen in der mathematischen Beweisführung und der Berücksichtigung vager Nutzerpräferenzen, die nicht so leicht in Code fassbar sind. Die Arbeit wurde auf der Conference on Language Modeling und der IVADO-Workshop-Reihe vorgestellt und mit Unterstützung von MIT Quest for Intelligence, NSF, DARPA, IBM, Intel und anderen Institutionen finanziert. DisCIPL markiert einen entscheidenden Schritt hin zu effizienten, präzisen und skalierbaren KI-Systemen, die nicht nur „sprechen“, sondern auch „denken“ – und das mit minimalen Ressourcen.