HyperAI
AccueilActualitésTutorielsEnsembles de donnéesÉvénementsWikiSOTAModèles LLM
Recherche
À propos
HyperAI

Déploiement De Grands Modèles Avec Ollama Et Open WebUI

Exécuter ce tutoriel en ligne

Introduction au tutoriel

Ce tutoriel est un package d'exécution en un clic d'Ollama + Open WebUI. Il vous suffit de suivre les étapes ci-dessous pour entrer la commande permettant d'exécuter le grand modèle en un clic.

Les modèles actuellement inclus sont :

  1. qwen 1.5 14b
  2. qwen 1.5 32b
  3. llava 1.6 34b Ce modèle est un modèle multimodal

Les trois modèles ci-dessus sont placés dans un espace public et n'occupent pas d'espace de stockage personnel.

Après avoir démarré ollama et ouvert l'interface Web respectivement selon le contenu suivant, vous pouvez l'utiliser en utilisant « l'adresse API » sur la droite.

Référence du didacticiel vidéo :Pas besoin d'installer, il suffit de cloner et d'exécuter de grands modèles en un seul clic – Exécutez Ollama et ouvrez WebUI sur Cloud GPU

Démarrer Ollama

OLLAMA_MODELS=/openbayes/home/ollama-models ./ollama serve

Démarrer l'interface Web ouverte

bash /openbayes/input/input1/open-webui/backend/start.sh

Ouvrir la page

  1. Copiez l'adresse API à droite et collez-la dans votre navigateur pour ouvrir la page d'interface Web ouverte.
  1. Connectez-vous via admin@example / adminadmin

Ajout de nouveaux modèles

Dans la ligne de commande, passez la commande ./ollama pull  De nouveaux modèles peuvent être téléchargés. Le nouveau modèle occupera son propre espace.