Stellen Sie das Modell Mixtral:7B-v0.3 mit Ollama und Open WebUI bereit

Einführung in das Tutorial

Dieses Tutorial ist ein One-Click-Ausführungspaket von Ollama + Open WebUI.Befolgen Sie einfach die folgenden Schritte und geben Sie den Befehl ein, um das große Modell Mixtral:7b v0.3 mit einem Klick auszuführen.

Im Vergleich zu Mistral:7B-v0.2 bietet Mixtral:7B-v0.3 folgende Vorteile:

Der Wortschatz wurde von 32000 auf 32768 erweitert
Unterstützt Tokenizer der Version 3
Unterstützung von Funktionsaufrufen

Das Modell wurde im öffentlichen Raum aufgestellt und nimmt keinen persönlichen Lagerraum in Anspruch.

Nachdem Sie Ollama und 0pen Webui entsprechend den folgenden Inhalten gestartet haben, können Sie es mithilfe der „API-Adresse“ auf der rechten Seite verwenden.

Wie man läuft

1. Laden Sie Ollama herunter

curl -fsSL https://ollama.com/install.sh | sh

2. Starten Sie Ollama

OLLAMA_MODELS=/openbayes/input/input0 ollama serve

3. Erstellen Sie ein neues Terminal und starten Sie Open Webui

cd open-webui
OLLAMA_MODELS=/openbayes/input/input0 bash backend/start.sh

4. Öffnen Sie die Seite

Kopieren Sie die API-Adresse rechts und fügen Sie sie in den Browser ein, um die Seite „Open Webui“ zu öffnen

Melden Sie sich mit admin@example.com / adminadmin an

Nach der Auswahl des Modells können Sie