llama.cpp+Open-Webui Stellt gpt-oss-120b Bereit

1. Einführung in das Tutorial

gpt-oss-120b ist ein Open-Source-Inferenzmodell, das im August 2025 von OpenAI veröffentlicht wurde. Es zielt auf starkes Reasoning, agentenbasierte Aufgaben und vielfältige Entwicklungsszenarien ab. Basierend auf der MoE-Architektur unterstützt dieses Modell eine Kontextlänge von 128 KB und bietet eine Leistung, die mit den Closed-Source-Modellen o4-mini und o3-mini vergleichbar ist. Es zeichnet sich durch Tool-Aufrufe, wenige Funktionsaufrufe, verkettetes Reasoning und die Beantwortung von Gesundheitsfragen aus.

Dieses Tutorial verwendet Dual-Card-RTX-A6000-Ressourcen.

2. Projektbeispiele

3. Bedienungsschritte

1. Klicken Sie nach dem Starten des Containers auf die API-Adresse, um die Weboberfläche aufzurufen

2. Nachdem Sie die Webseite aufgerufen haben, können Sie ein Gespräch mit dem Modell beginnen

Wenn „Modell“ nicht angezeigt wird, bedeutet dies, dass das Modell initialisiert wird. Da das Modell groß ist, warten Sie bitte etwa 2-3 Minuten und aktualisieren Sie die Seite.

Anwendung

Beachten: In diesem Lernprogramm können Sie die Argumentationsebene des Modells ändern, indem Sie vor dem Eingabeaufforderungswort „Argumentation: niedrig/mittel/hoch“ hinzufügen.

4. Diskussion

🖌️ Wenn Sie ein hochwertiges Projekt sehen, hinterlassen Sie bitte im Hintergrund eine Nachricht, um es weiterzuempfehlen! Darüber hinaus haben wir auch eine Tutorien-Austauschgruppe ins Leben gerufen. Willkommen, Freunde, scannen Sie den QR-Code und kommentieren Sie [SD-Tutorial], um der Gruppe beizutreten, verschiedene technische Probleme zu besprechen und Anwendungsergebnisse auszutauschen ↓