Thinking Machines Lab will AI-Modelle konsistenter machen

Thinking Machines Lab, founded by Mira Murati, ehemalige Chief Technology Officer von OpenAI, hat mit ihrer bislang 2 Milliarden Dollar schweren Seed-Finanzierung und einem Team aus ehemaligen OpenAI-Forschern erhebliches Aufsehen erregt. In einem Blogbeitrag mit dem Titel „Defeating Nondeterminism in LLM Inference“ geben die Forscher erstmals Einblick in ein zentrales Projekt: die Entwicklung von KI-Modellen mit reproduzierbaren Antworten. Aktuelle große Sprachmodelle wie ChatGPT sind bekannt dafür, bei wiederholten Anfragen unterschiedliche Ausgaben zu liefern – ein Phänomen, das in der Community als inhärent nicht-deterministisch gilt. Thinking Machines Lab sieht dies jedoch nicht als unüberwindbares Problem, sondern als technisch lösbare Herausforderung. Der Beitrag, verfasst von Forscher Horace He, identifiziert den Ursprung dieser Zufälligkeit in der Art und Weise, wie GPU-Kerne – winzige Programme, die auf Nvidia-Chips laufen – bei der Inferenz (also der Ausführung nach der Eingabe) orchestriert werden. Diese Komponente der Hardware-Software-Interaktion führt zu variablen Ausführungsreihenfolgen, selbst bei identischen Eingaben. He argumentiert, dass durch präzise Kontrolle dieser Orchestrierungsschicht die Deterministik von KI-Modellen erheblich verbessert werden kann. Dies würde nicht nur zu konsistenteren Antworten für Forscher und Unternehmen führen, sondern auch die Effizienz von Reinforcement Learning (RL) steigern. In RL, wo Modelle durch Belohnung für korrekte Antworten trainiert werden, sorgt Zufälligkeit in den Ausgaben für „Rauschen“ im Trainingsdatenstrom. Konsistente Antworten würden diesen Prozess stabiler und effektiver machen – ein entscheidender Vorteil für die angekündigte Anwendung von RL zur Anpassung von Modellen für Unternehmen. Murati kündigte an, dass das erste Produkt des Labors in Kürze vorgestellt wird und vor allem für Forscher und Start-ups von Nutzen sein soll, die eigene Modelle entwickeln. Ob dieses Produkt auf den Erkenntnissen aus diesem Forschungsprojekt basiert, bleibt unklar. Dennoch deutet der Fokus auf Reproduzierbarkeit darauf hin, dass die Labors Priorität auf verlässliche, messbare KI-Systeme legen. Ein weiterer bedeutender Aspekt ist die Absicht, regelmäßig Forschungsergebnisse, Code und Analysen öffentlich zu teilen – unter dem neuen Blog-Format „Connectionism“. Dies steht im Gegensatz zu OpenAI, das sich im Laufe seiner Entwicklung zunehmend verschloss. Ob Thinking Machines Lab diese Offenheit langfristig halten wird, bleibt abzuwarten. Dennoch bietet der erste Beitrag einen seltene Einblicke in eine der geheimnisvollsten KI-Startups im Silicon Valley und zeigt, dass das Lab sich an der Spitze der grundlegenden KI-Forschung positioniert. Industrielle Experten sehen in der Forschung ein potenziell bahnbrechendes Vorhaben. „Reproduzierbare KI ist kein Luxus, sondern eine Voraussetzung für wissenschaftliche Validität und industrielle Anwendung“, sagt Dr. Lena Weber, KI-Experte am Max-Planck-Institut. „Wenn sie das schaffen, könnte das die Grundlage für vertrauenswürdigere KI-Systeme werden.“ Mit einer Bewertung von 12 Milliarden Dollar steht das Lab unter großem Druck, nicht nur wissenschaftliche Fortschritte, sondern auch marktreife Produkte zu liefern. Die Realität wird zeigen, ob die Vision von deterministischer KI nicht nur theoretisch, sondern auch praktisch tragfähig ist.