HyperAI
StartseiteNeuigkeitenTutorialsDatensätzeVeranstaltungenWikiSOTALLM Modelle
Suche
Über
HyperAI

Bereitstellen Großer Modelle Mit Ollama Und Open WebUI

Dieses Tutorial online ausführen

Einführung in das Tutorial

Dieses Tutorial ist ein One-Click-Ausführungspaket von Ollama + Open WebUI. Sie müssen nur die folgenden Schritte ausführen, um den Befehl einzugeben und das große Modell mit einem Klick auszuführen.

Die derzeit enthaltenen Modelle sind:

  1. qwen 1.5 14b
  2. qwen 1.5 32b
  3. llava 1.6 34b Dieses Modell ist ein multimodales Modell

Die oben genannten drei Modelle werden in einem öffentlichen Raum aufgestellt und beanspruchen keinen persönlichen Lagerraum.

Nachdem Sie Ollama gestartet und die WebUI entsprechend den folgenden Inhalten geöffnet haben, können Sie es mithilfe der „API-Adresse“ auf der rechten Seite verwenden.

Referenz zum Video-Tutorial:Keine Installation erforderlich, einfach große Modelle klonen und mit einem Klick ausführen – Ollama ausführen und WebUI auf Cloud-GPU öffnen

Starten Sie Ollama

OLLAMA_MODELS=/openbayes/home/ollama-models ./ollama serve

Starten Sie die offene WebUI

bash /openbayes/input/input1/open-webui/backend/start.sh

Seite öffnen

  1. Kopieren Sie die API-Adresse rechts und fügen Sie sie in Ihren Browser ein, um die offene WebUI-Seite zu öffnen.
  1. Melden Sie sich über admin@example / adminadmin an

Neue Modelle hinzufügen

Geben Sie in der Befehlszeile den Befehl ein ./ollama pull  Neue Modelle können heruntergeladen werden. Das neue Modell wird seinen eigenen Platz einnehmen.