Command Palette
Search for a command to run...
Online-Tutorial | Flints Team Von Yuan-Ting Tian Veröffentlicht Open-Source-Programmiersprachenmodell Flint: 39,8 Mrd. Parameter, Nur 2,5 Mrd. Pro Token Aktiviert
Vom Vervollständigen einer einzelnen Funktion bis hin zur Generierung kompletter Projekte anhand natürlicher Sprache senken Code-Modelle die Einstiegshürde in die Softwareentwicklung. Echte Softwareentwicklung beschränkt sich jedoch nicht nur darauf, lauffähigen Code zu schreiben. Das Verständnis bestehender Projektstrukturen, die Lokalisierung von Bugs, die Änderung mehrerer Dateien, die Ausführung von Tests und die iterative Anpassung basierend auf Fehlermeldungen erfordern vom Modell ein umfassenderes Verständnis von Code und eine stärkere Fähigkeit zur Aufgabenbearbeitung. Man kann sagen: Die Generierung von Code ist nur der erste Schritt. Die eigentliche Herausforderung liegt darin, KI wirklich in den Entwicklungsprozess einzubinden.
Flint, von Recursive vorgestellt, ist ein Open-Source-Sprachmodell, das speziell für Coding-Agent-Szenarien entwickelt wurde. Es kann Codebasen verstehen, Bugs beheben, neue Funktionen implementieren, Tests schreiben und unterstützt mehrstufiges Reasoning sowie Tool-Aufrufe. Flint nutzt eine Decoder-only-Mixture-of-Experts-Architektur (MoE) mit einer Gesamtparameteranzahl von 39,8 Milliarden, wobei pro Token jedoch nur etwa 2,5 Milliarden Parameter aktiviert werden. In seinen MoE-Schichten werden pro Token 6 von 256 Routing-Experten ausgewählt, ergänzt durch 1 stets aktiven Shared-Experten. Dieses Design ermöglicht eine große Gesamtparameteranzahl, reduziert jedoch die Anzahl der Parameter, die pro Token während der Inferenz aufgerufen werden müssen.
Dies entspricht dem Kernkonzept der MoE-Architektur hinsichtlich der Recheneffizienz: Durch einen Routing-Mechanismus werden je nach aktuellem Input geeignete Experten für die Berechnung ausgewählt, wodurch die Modellkapazität erhalten bleibt, während die Anzahl der pro Token aktivierten Parameter reduziert wird. Für Agent-Aufgaben, die kontinuierliche Code-Analyse, Reasoning und Tool-Aufrufe erfordern, hilft dieses Design, die Rechenkosten in der Inferenzphase zu kontrollieren.
Hinsichtlich der praktischen Fähigkeiten unterstützt Flint Mehrfachdialoge, Reasoning und Tool-Aufrufe. Laut den von Recursive veröffentlichten Benchmark-Ergebnissen erzielt das Modell 89,7 % auf SWE-bench Pro v2, 74,2 % auf SWE-bench Verified und 54,9 % auf Terminal-Bench 2.1, was seine Leistungsfähigkeit in Software-Engineering-Aufgaben und Terminal-Operationsszenarien unterstreicht. Das bedeutet, dass Flint nicht einfach nur darauf abzielt, die nächste Codezeile zu vervollständigen, sondern als Basismodell für Coding Agents fungieren soll, die Entwicklungsaufgaben verstehen, Tools aufrufen und die Problemlösung kontinuierlich vorantreiben.
Im Tutorial-Bereich von HyperAI ist jetzt „Flint: Ein Mixture-of-Experts-Large-Language-Model für Coding Agents“ verfügbar. Nutzer können im Tutorial mehr über den Modell-Lade- und Inferenzprozess erfahren und die Fähigkeiten zur Codegenerierung, zum Reasoning und zu Tool-Aufrufen testen.
Von der Generierung eines Code-Snippets bis hin zur Mitarbeit an der Lösung einer vollständigen Entwicklungsaufgabe verschiebt Coding Agent die Rolle der KI vom Code-Assistenten weiter hin zum Entwicklungskollaborator.
Online ausführen:
Weitere Online-Tutorials:
Demo ausführen
- Gehen Sie auf die Startseite von hyper.ai, wählen Sie die Seite „Tutorials“ oder klicken Sie auf „Weitere Tutorials anzeigen“, wählen Sie „Flint: Ein Mixture-of-Experts-Large-Language-Model für Coding Agents“ und klicken Sie auf „Dieses Tutorial ausführen“.
- Nach der Seitenweiterleitung klicken Sie oben rechts auf „Clone“, um das Tutorial in Ihren eigenen Container zu klonen.
Hinweis: Oben rechts auf der Seite kann die Sprache umgeschaltet werden. Derzeit sind Chinesisch und Englisch verfügbar. Dieser Tutorial-Artikel verwendet Englisch als Beispiel für die Schritt-für-Schritt-Anleitung.
- Wählen Sie „NVIDIA H100 x2“ sowie das entsprechende Image und klicken Sie auf „Continue job execution (Aufgabenausführung fortsetzen)“.
- Warten Sie auf die Ressourcenzuweisung. Sobald der Status auf „Running (In Ausführung)“ wechselt, klicken Sie auf „Open Workspace“, um das Jupyter Workspace zu betreten.
Ergebnispräsentation
- Nach der Seitenweiterleitung klicken Sie links auf die README-Datei und oben auf „Run (Ausführen)“.
- Warten Sie, bis die Ausführung abgeschlossen ist, öffnen Sie ein neues Terminal und führen Sie den folgenden Befehl aus, um Open WebUI zu starten.
- Nach dem Start klicken Sie auf die rechts angezeigte API-Adresse, um die Open WebUI-Oberfläche im Browser aufzurufen.
