Déployer Llama3-70B Avec Ollama Et Open WebUI

Introduction au tutoriel

Ce tutoriel est un package d'exécution en un clic d'Ollama + Open WebUI.Suivez simplement les étapes ci-dessous pour entrer la commande permettant d'exécuter le grand modèle Llama3 70B en un clic.

Après avoir démarré Ollama et 0pen Webui respectivement selon la « Méthode d'exécution » ci-dessous, vous pouvez l'utiliser en utilisant l'« Adresse API » sur la droite.En raison de la grande taille du modèle, Ollama chargera le modèle lentement, veuillez être patient.  Ollama commencera officiellement à charger le modèle uniquement lorsque vous saisirez le mot d'invite dans le grand modèle pour la première fois. Par conséquent, il faudra environ 3 minutes pour répondre à la première question, puis la réponse du modèle deviendra de plus en plus rapide.

Introduction à Ollama et Open WebUI

À mesure que la taille des modèles continue d’augmenter, la manière de déployer efficacement ces grands modèles est devenue un défi. Ollama et Open WebUI sont deux outils très pratiques, qui fournissent respectivement de puissantes fonctions de gestion de modèles back-end et d'interaction d'interface front-end. L’utilisation conjointe de ces deux outils facilite le déploiement et la gestion de modèles volumineux.

Présentation du modèle

Voici un exemple de dialogue modèle :

Le modèle est disponible en deux tailles : 8B et 70B. 8 milliards pour un déploiement et un développement efficaces sur des GPU grand public et 70 milliards pour des applications natives d'IA à grande échelle.

Llama3 est le dernier né de la famille Llama de modèles d'IA génératifs ouverts et constitue une amélioration significative par rapport à Llama 2 et à d'autres modèles accessibles au public :

• Formé sur un ensemble de données sept fois plus grand que Llama 2 ;
• Prise en charge de texte long de 8 K ;
• Avec un vocabulaire de 128 000 jetons, il peut encoder la langue plus efficacement.

Le modèle a été placé dans un espace public et n'occupe aucun espace de stockage personnel.

Comment courir

Créez un nouveau terminal et démarrez Ollama

OLLAMA_MODELS=/openbayes/home/ollama-models ./ollama serve

Créez un nouveau terminal et démarrez Open Webui

bash /openbayes/input/input1/open-webui/backend/start.sh

Ouvrir la page

1. Copiez l'adresse API à droite et collez-la dans le navigateur pour ouvrir la page Open Webui

2. Connectez-vous via admin@example.com / adminadmin