Déployer le modèle Mixtral:7B-v0.3 avec Ollama et Open WebUI

Introduction au tutoriel

Ce tutoriel est un package d'exécution en un clic d'Ollama + Open WebUI.Suivez simplement les étapes ci-dessous et entrez la commande pour exécuter le grand modèle Mixtral:7b v0.3 en un clic.

Par rapport à Mistral:7B-v0.2, Mixtral:7B-v0.3 présente les avantages suivants :

La taille du vocabulaire a été étendue de 32 000 à 32 768
Prise en charge du tokenizer v3
Appels de fonctions de support

Le modèle a été placé dans un espace public et n'occupe aucun espace de stockage personnel.

Après avoir démarré Ollama et 0pen Webui respectivement selon le contenu suivant, vous pouvez l'utiliser en utilisant « l'adresse API » sur la droite.

Comment courir

1. Téléchargez Ollama

curl -fsSL https://ollama.com/install.sh | sh

2. Démarrez Ollama

OLLAMA_MODELS=/openbayes/input/input0 ollama serve

3. Créez un nouveau terminal et démarrez Open Webui

cd open-webui
OLLAMA_MODELS=/openbayes/input/input0 bash backend/start.sh

4. Ouvrez la page

Copiez l'adresse API à droite et collez-la dans le navigateur pour ouvrir la page Open Webui

Connectez-vous en utilisant admin@example.com / adminadmin

Après avoir sélectionné le modèle, vous pouvez utiliser