HyperAI
StartseiteNeuigkeitenTutorialsDatensätzeVeranstaltungenWikiSOTALLM Modelle
Suche
Über
HyperAI

Stellen Sie Llama3-70B Mit Ollama Und Open WebUI Bereit

Dieses Tutorial online ausführen

Einführung in das Tutorial

1

Dieses Tutorial ist ein One-Click-Ausführungspaket von Ollama + Open WebUI.Befolgen Sie einfach die folgenden Schritte, um den Befehl einzugeben und das große Modell Llama3 70B mit einem Klick auszuführen.

Nachdem Sie Ollama und 0pen Webui entsprechend der unten stehenden „Ausführungsmethode“ gestartet haben, können Sie es mithilfe der „API-Adresse“ auf der rechten Seite verwenden.Aufgrund der Größe des Modells lädt Ollama das Modell langsam. Bitte haben Sie Geduld.  Ollama beginnt offiziell erst mit dem Laden des Modells, wenn Sie das Eingabewort zum ersten Mal in das große Modell eingeben. Daher dauert es etwa 3 Minuten, die erste Frage zu beantworten, und dann wird die Antwort des Modells immer schneller.

Einführung in Ollama und Open WebUI

Da die Größe der Modelle immer weiter zunimmt, ist die effektive Bereitstellung dieser großen Modelle zu einer Herausforderung geworden. Ollama und Open WebUI sind zwei sehr praktische Tools, die leistungsstarke Back-End-Modellverwaltungs- bzw. Front-End-Schnittstelleninteraktionsfunktionen bieten. Die gemeinsame Verwendung dieser beiden Tools erleichtert die Bereitstellung und Verwaltung großer Modelle.

Modelleinführung

Nachfolgend sehen Sie ein Beispiel für einen Musterdialog:

1

Das Modell ist in zwei Größen erhältlich: 8B und 70B. 8 B für die effiziente Bereitstellung und Entwicklung auf GPUs der Verbraucherklasse und 70 B für KI-native Anwendungen im großen Maßstab.

Llama3 ist das neueste Modell der Llama-Familie offener generativer KI-Modelle und stellt eine deutliche Verbesserung gegenüber Llama 2 und anderen öffentlich verfügbaren Modellen dar:

  • Trainiert auf einem siebenmal größeren Datensatz als Llama 2;
  • Unterstützt 8K Langtext;
  • Mit einem Vokabular von 128.000 Token kann es die Sprache effizienter kodieren.

Das Modell wurde im öffentlichen Raum aufgestellt und nimmt keinen persönlichen Lagerraum in Anspruch.

Wie man läuft

Erstellen Sie ein neues Terminal und starten Sie Ollama

OLLAMA_MODELS=/openbayes/home/ollama-models ./ollama serve

Erstellen Sie ein neues Terminal und starten Sie Open Webui

bash /openbayes/input/input1/open-webui/backend/start.sh

Seite öffnen

  1. Kopieren Sie die API-Adresse rechts und fügen Sie sie in den Browser ein, um die Seite „Open Webui“ zu öffnen
  1. Melden Sie sich über admin@example.com / adminadmin an