HyperAIHyperAI

Command Palette

Search for a command to run...

Exécutez La Démo Mistral-7B-v0.3 En Ligne

Déployer le modèle Mixtral:7B-v0.3 avec Ollama et Open WebUI

Introduction au tutoriel

Ce tutoriel est un package d'exécution en un clic d'Ollama + Open WebUI.Suivez simplement les étapes ci-dessous et entrez la commande pour exécuter le grand modèle Mixtral:7b v0.3 en un clic.

Par rapport à Mistral:7B-v0.2, Mixtral:7B-v0.3 présente les avantages suivants :

  • La taille du vocabulaire a été étendue de 32 000 à 32 768
  • Prise en charge du tokenizer v3
  • Appels de fonctions de support

Le modèle a été placé dans un espace public et n'occupe aucun espace de stockage personnel.

Après avoir démarré Ollama et 0pen Webui respectivement selon le contenu suivant, vous pouvez l'utiliser en utilisant « l'adresse API » sur la droite.

Comment courir

1. Téléchargez Ollama

curl -fsSL https://ollama.com/install.sh | sh

2. Démarrez Ollama

OLLAMA_MODELS=/openbayes/input/input0 ollama serve

3. Créez un nouveau terminal et démarrez Open Webui

cd open-webui
OLLAMA_MODELS=/openbayes/input/input0 bash backend/start.sh

4. Ouvrez la page

  1. Copiez l'adresse API à droite et collez-la dans le navigateur pour ouvrir la page Open Webui
  1. Connectez-vous en utilisant admin@example.com / adminadmin
  1. Après avoir sélectionné le modèle, vous pouvez utiliser

Construire l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec du co-codage IA gratuit, un environnement prêt à l'emploi et les meilleurs prix GPU.

Co-codage IA
GPU prêts à utiliser
Meilleurs prix
Commencer

Hyper Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp
Exécutez La Démo Mistral-7B-v0.3 En Ligne | Tutoriels | HyperAI