Nicht alle Szenarien erfordern Hunderte von Milliarden Parameter, aber fast alle Szenarien benötigen Modelle, die „inferenzieren“ können. Wie man kleinere, einfacher einzusetzende Modelle mit stärkeren Inferenzfähigkeiten, langfristigem Kontextverständnis und Werkzeugaufruffähigkeiten ausstatten kann, ist zu einem wichtigen Forschungsfeld in der Open-Source-Community geworden.

Um das Problem unzureichender Verarbeitungskapazitäten für komplexe Aufgaben in kleinen Modellen zu lösen,Empero hat Qwythos-9B-Claude-Mythos-5-1M, ein auf Qwythos3.5-9B basierendes, inferenzoptimiertes Sprachmodell, als Open Source veröffentlicht.Das Modell wurde nachtrainiert, indem hochwertige Inferenztrajektoriendaten von Claude Mythos und Claude Fable mit über 500 Millionen Token verwendet wurden.Bei gleichzeitiger Beibehaltung eines Umfangs von 9 Milliarden Parametern soll die Leistung des Modells bei komplexen Inferenzaufgaben verbessert werden.

Im Vergleich zum Basismodell Qwen3.5-9B,Qwythos zeigte in mehreren Tests deutliche Verbesserungen, darunter eine Steigerung um 34 Punkte im MMLU-Test und eine Steigerung um 30 Punkte im Test zum strengen mathematischen Denken (gsm8k-strict).Dies beweist, dass auch Modelle mit kleinen Parametern durch qualitativ hochwertige Inferenzdaten einen Leistungssprung erzielen können.

Zusätzlich zur Optimierung des DenkvermögensQwythos wurde auch für KI-Agenten-Szenarien erweitert.Das Modell unterstützt native Tool-Aufruffunktionen basierend auf der Qwen 3.5-Spezifikation und ermöglicht so die Anbindung externer Tools zur Ausführung komplexer Aufgaben. Gleichzeitig unterstützt es dank der YaRN RoPE-Skalierungstechnologie extrem lange Kontexte mit bis zu 1 Million Tokens und verarbeitet komplexe Informationen wie lange Dokumente und Codebasen. Darüber hinausQwythos übernimmt die multimodalen Bildverarbeitungsfunktionen von Qwen3.5-9B.Das Bildverständnis kann durch das mmproj-Modul unterstützt werden, wodurch die Anwendung des Modells in Szenarien wie multimodalen Agenten weiter ausgebaut wird.

Die Veröffentlichung von Qwythos hat neue Wege für die Entwicklung kleiner Modelle eröffnet: Durch qualitativ hochwertige Daten, Inferenztraining und Fähigkeitsoptimierung können auch Modelle mit kleinen Parametern Skalenbeschränkungen überwinden und bieten neue Möglichkeiten für kostengünstige und hocheffiziente KI-Anwendungen.

Um Entwicklern einen schnellen Einstieg in Qwythos zu ermöglichen, hat HyperAI (hyper.ai) relevante Modellressourcen zusammengestellt, mit denen sie Modelle mit einem einzigen Klick bereitstellen und schnell mit Inferenztests und der Agentenentwicklung beginnen können. ⬇️

Online ausführen:https://go.hyper.ai/25R6k

Weitere Online-Tutorials:

https://hyper.ai/notebooks

Demolauf

1. Nachdem Sie die Hyper.ai-Homepage aufgerufen haben, wählen Sie die Seite „Tutorials“ aus oder klicken Sie auf „Weitere Tutorials anzeigen“, wählen Sie „Qwythos-9B-Claude-Mythos-5-1M GGUF Inference Deployment“ aus und klicken Sie auf „Dieses Tutorial ausführen“.

2. Nachdem die Seite weitergeleitet wurde, klicken Sie oben rechts auf „Klonen“, um das Tutorial in Ihren eigenen Container zu klonen.

Hinweis: Sie können die Sprache oben rechts auf der Seite ändern. Derzeit sind Chinesisch und Englisch verfügbar. Dieses Tutorial zeigt die Schritte auf Englisch.

3. Wählen Sie die Images „NVIDIA RTX 5090“ und „PyTorch“ aus und klicken Sie auf „Auftragsausführung fortsetzen“.

4. Warten Sie, bis die Ressourcen zugewiesen wurden. Sobald sich der Status auf „Wird ausgeführt“ ändert, klicken Sie auf „Arbeitsbereich öffnen“, um den Jupyter-Arbeitsbereich zu betreten.

Effektanzeige

1. Nachdem die Seite weitergeleitet wurde, klicken Sie auf die README-Datei auf der linken Seite und anschließend oben auf Ausführen.

2. Nach Abschluss des Vorgangs klicken Sie auf die API-Adresse auf der rechten Seite, um die Demo-Oberfläche zu öffnen.