Sakana AI entwickelt Methode: Kooperierende LLMs lösen komplexe Aufgaben besser

Das japanische KI-Labor Sakana AI hat eine neue Technik vorgestellt, die es ermöglicht, mehrere große Sprachmodelle (LLMs) zusammenarbeiten zu lassen, um komplexe Aufgaben besser zu lösen als jedes einzelne Modell. Diese Methode, genannt Multi-LLM AB-MCTS, nutzt die einzigartigen Stärken der Modelle und kombiniert sie zu einer "Traummannschaft" von KI-Agenten. Das Ziel ist es, Unternehmen robustere und leistungsfähigere KI-Systeme zu ermöglichen, indem sie die besten Aspekte verschiedener fortschrittlicher Modelle dynamisch nutzen können. KI-Modelle entwickeln sich rasch, wobei jedes Modell spezifische Stärken und Schwächen aufweist, die sich aus seinen einzigartigen Trainingsdaten und seiner Architektur ergeben. Einige Modelle sind beispielsweise besonders gut im Codieren, während andere sich in kreativem Schreiben hervortun. Die Forscher von Sakana AI sehen diese Unterschiede nicht als Beschränkungen, sondern als wertvolle Ressourcen für die Erstellung kollektiver Intelligenz. Sie glauben, dass KI-Systeme durch die Zusammenarbeit ähnlich wie menschliche Teams größere Leistungen erzielen können. Die neue Algorithmus von Sakana AI ist eine "Inferenzzeit-Skalierungstechnik" (auch als "Testzeit-Skalierung" bekannt), ein Forschungsgebiet, das in den letzten Jahren sehr populär geworden ist. Während die meisten Bemühungen in der KI darauf abzielen, Modelle größer zu machen und sie mit größeren Datensätzen zu trainieren (Trainingszeit-Skalierung), verbessert die Inferenzzeit-Skalierung die Leistung, indem sie nach dem Training mehr Rechenressourcen zuweist. Ein verbreiteter Ansatz bei der Inferenzzeit-Skalierung ist das Verwenden von Verstärkungslernen, um den Modellen zu helfen, längere und detailliertere Denksequenzen (Chain-of-Thought, CoT) zu generieren, wie es bei Modellen wie OpenAI o3 und DeepSeek-R1 der Fall ist. Ein einfacherer Ansatz ist das wiederholte Sampling, bei dem ein Modell denselben Prompt mehrfach erhält, um eine Vielfalt an möglichen Lösungen zu erzeugen. Sakana AI hat diese Ideen kombiniert und weiterentwickelt. Der Kern der neuen Methode ist der Adaptive Branching Monte Carlo Tree Search (AB-MCTS)-Algorithmus. Dieser ermöglicht es einem LLM, effektiv durch Probieren und Fehlschlägen zu lernen, indem er intelligent zwischen zwei verschiedenen Suchstrategien balanciert: tiefer suchen (bestehende Lösungen verfeinern) und breiter suchen (völlig neue Lösungen generieren). Der AB-MCTS-Algorithmus verwendet Wahrscheinlichkeitsmodelle, um zu entscheiden, ob es strategischer ist, eine bestehende Lösung zu verfeinern oder eine neue zu erzeugen. Mit Multi-LLM AB-MCTS geht dies einen Schritt weiter. Am Anfang einer Aufgabe weiß das System nicht, welches Modell am besten geeignet ist. Es beginnt mit einem ausgewogenen Mix der verfügbaren LLMs und lernt im Laufe der Zeit, welche Modelle effektiver sind, um ihnen den Großteil der Arbeit zuzuweisen. Dies ermöglicht es dem System, die beste Lösung für eine gegebene Aufgabe dynamisch zuzuordnen. Die Forscher haben ihre Multi-LLM AB-MCTS-System auf dem ARC-AGI-2-Benchmark getestet, der darauf ausgelegt ist, menschenähnliche Fähigkeiten zur Lösung neuer visueller Probleme zu prüfen. Sie verwendeten eine Kombination von fortschrittlichen Modellen, darunter o4-mini, Gemini 2.5 Pro und DeepSeek-R1. Die Kollektion der Modelle fand korrekte Lösungen für über 30% der 120 Testprobleme, was signifikant besser war als die Leistung jedes einzelnen Modells alleine. In manchen Fällen gelang es dem System, Probleme zu lösen, die bisher für kein einzelnes Modell möglich waren. So konnte zum Beispiel ein fehlerhafter Versuch des o4-mini-Modells von DeepSeek-R1 und Gemini-2.5 Pro korrigiert werden, um letztendlich die richtige Antwort zu liefern. Dies zeigt, dass Multi-LLM AB-MCTS flexibel verschiedene fortschrittliche Modelle kombinieren kann, um bisher unlösbare Probleme zu meistern. Akiba, Forscherwissenschaftler bei Sakana AI und Co-Autor des Papers, betonte, dass die Tendenz zur Halluzination unter den Modellen stark variieren kann. Durch die Bildung eines Ensembles mit einem Modell, das weniger halluziniert, könnten sowohl leistungsstarke logische Fähigkeiten als auch eine starke Bodenhaftung erreicht werden. Dies sei besonders im geschäftlichen Kontext, wo Halluzination ein großes Problem darstellt, von großer Bedeutung. Um Entwicklern und Unternehmen bei der Anwendung dieser Technik zu helfen, hat Sakana AI den zugrundeliegenden Algorithmus als quelloffenes Framework namens TreeQuest veröffentlicht. TreeQuest steht unter der Apache 2.0-Lizenz zur Verfügung und kann kommerziell genutzt werden. Es bietet eine flexible API, die Benutzern ermöglicht, Multi-LLM AB-MCTS für ihre eigenen Aufgaben mit benutzerdefinierten Bewertungen und Logik zu implementieren. Die Forscher sehen großes Potenzial in verschiedenen Bereichen, wie beispielsweise der Lösung komplexer algorithmischer Coding-Probleme und der Verbesserung der Genauigkeit von maschinellem Lernen. Auch bei Problemen, die durch iterative Probieren und Fehlschläge gelöst werden müssen, wie der Optimierung von Performance-Metriken bestehender Software, könnte AB-MCTS sehr effektiv sein. Zum Beispiel könnte es automatisch Wege finden, die Antwortzeit eines Webdienstes zu verbessern. Die Einführung eines praktischen, quelloffenen Tools könnte den Weg zu einer neuen Klasse von leistungsfähigeren und zuverlässigeren KI-Anwendungen im Unternehmensbereich ebnen. Experten in der Branche sehen in dieser Entwicklung einen wichtigen Fortschritt, da sie die Leistungsfähigkeit von KI-Systemen erheblich steigert, ohne zusätzliche Trainings- oder Hardwarekosten zu verursachen. Sakana AI positioniert sich damit als Vorreiter in der Entwicklung von kollektiver Intelligenz in der KI-Forschung, was langfristig zu innovativen Lösungen und Anwendungen führen könnte.