Tutoriel En Ligne | Seuil Zéro Pour Déployer Llama 3, La Version 70B N'occupe Que 1,07 Go D'espace De Stockage, Les Nouveaux Utilisateurs Peuvent Découvrir La Version 8B Gratuitement

Le 18 avril, Meta a annoncé l'open source de Llama 3. Une fois publié, ce soi-disant « meilleur grand modèle open source à ce jour » a immédiatement fait sensation dans le cercle technologique !

La date de sortie a coïncidé avec l'anniversaire d'Andrew Ng, professeur à l'Université de Stanford et expert de haut niveau en IA. En tant que défenseur de l'IA open source, il a publié avec enthousiasme :C'est le meilleur cadeau d'anniversaire que j'ai jamais reçu, merci Meta.

Yann LeCun, scientifique en chef de Meta et lauréat du prix Turing, a également recommandé son dernier modèle open source sur son compte :Il prend en charge 8 000 textes longs, utilise plus de 15 T de jetons pour la formation sur un cluster GPU de 24 000 et fonctionne bien dans plusieurs tests d'évaluation.Dans certaines tâches, Llama 3-8B obtient de meilleurs résultats que Llama 2-70B. D’autres sorties suivront dans les mois à venir.
Selon son site officiel, Llama 3 utilise des technologies avancées de réglage des instructions, notamment le réglage fin supervisé (SFT), l'optimisation des politiques proximales (PPO) et l'optimisation des politiques directes (DPO), ce qui constitue un saut qualitatif par rapport à Llama 2. En termes de sécurité, la nouvelle version des outils de confiance et de sécurité utilisant Llama Guard 2, Code Shield et CyberSec Eval 2 présente de meilleures « performances de faux rejet » que Llama 2.
Il convient de mentionner que lorsque Llama 3 est sorti, Meta a également déclaré sur son blog officiel qu'il formait une nouvelle version du modèle avec plus de 400 milliards de paramètres. Jim Fan, scientifique senior chez NVIDIA, estime queLe lancement futur possible de Llama 3-400B marque le début de la mise à disposition des modèles de niveau GPT-4 pour la communauté open source, ce qui changera la façon dont de nombreux efforts de recherche et startups locales font du calcul.

Pour évaluer les performances de Llama 3 dans des scénarios réels,Meta a développé un nouvel ensemble de données d'évaluation humaine de haute qualité couvrant des cas d'utilisation réels, notamment, mais sans s'y limiter : la sollicitation de suggestions, le brainstorming, la classification, les questions-réponses fermées, la programmation, l'écriture créative, l'extraction d'informations, le jeu de rôle, les questions-réponses ouvertes, le raisonnement logique, la réécriture de texte et le résumé.
Les résultats montrent que Meta Llama 70B présente un avantage par rapport à Claude Sonnet, Mistral Medium et GPT-3.5.

Les performances dépassent GPT-3.5 et sont proches de GPT-4. Je pense que tout le monde a hâte de découvrir Llama 3. Afin de vous aider à réduire le long temps d'attente de téléchargement, à économiser les ressources informatiques et à réduire la difficulté de déploiement du modèle,HyperAI a lancé les tutoriels « Déployer Llama3-8B-Instruct à l'aide d'Ollama et d'Open WebUI » et « Déployer Llama3-70B à l'aide d'Ollama et d'Open WebUI » sur sa page de tutoriels.* Ollama et Open WebUI fournissent respectivement de puissantes fonctions de gestion de modèle back-end et d'interaction d'interface front-end. La combinaison de ces deux outils permet de compléter facilement le déploiement et la gestion de modèles de grande taille.
Llama3-70B n'occupe que 1,07 Go d'espace de stockage.Clonage en un clic pour commencer !
Adresse du didacticiel HyperAI Hyperneural : *8B : https://hyper.ai/tutorials/31129*70B : https://hyper.ai/tutorials/31155
L'éditeur a déployé le modèle Llama 3 selon le tutoriel et a aidé tout le monde à essayer l'effet réel.
* J'ai délibérément guidé Llama 3, mais il n'a pas été dupé. Mais la même question a trompé GPT-3.5 ! En voyant qu'il répondait sérieusement à la question, l'éditeur ne pouvait s'empêcher d'y croire presque.

* Le 1er mai arrive bientôt. Où devrions-nous aller en vacances ? Lequel devrions-nous choisir parmi tant d’endroits ?

* Il peut également résoudre des problèmes mathématiques. Vous n’avez plus à vous soucier de donner des cours particuliers à vos enfants à domicile !

* Il peut également être traduit, ce qui résout mon gros problème !

* Histoire du soir, encore un tour appris.

Essai de démonstration
1. Connectez-vous à hyper.ai et sur la page Tutoriels, sélectionnez Déployer Llama3-8B-Instruct à l'aide d'Ollama et d'Open WebUI ou Déployer Llama3 70B à l'aide d'Ollama et d'Open WebUI.
Ensuite, je prendrai le tutoriel « Déployer Llama3-70B en utilisant Ollama et Open WebUI » comme exemple.

2. Cliquez sur « Exécuter ce didacticiel en ligne ». Une fois la page affichée, cliquez sur « Cloner » dans le coin supérieur droit pour cloner le didacticiel dans votre propre conteneur.

3. Cliquez sur « Suivant : sélectionner le taux de hachage » dans le coin inférieur droit.

4. Après le saut, sélectionnez « NVIDIA RTX A6000 48 Go », sélectionnez l'image « PyTorch » et cliquez sur « Suivant : Réviser ».Les nouveaux utilisateurs peuvent s'inscrire en utilisant le lien d'invitation ci-dessous pour obtenir 4 heures de RTX 4090 + 5 heures processeur  GratuitTaux de hachageDurée!
Lien d'invitation exclusif HyperAI (copiez et ouvrez dans le navigateur pour vous inscrire) :https://openbayes.com/console/signup?r=6bJ0ljLFsFh_Vvej
Remarque : si vous exécutez le didacticiel « Déploiement de Llama3-8B-Instruct à l'aide d'Ollama et d'Open WebUI », sélectionnez « NVIDIA GeForce RTX 4090 » pour l'exécuter.

5. Cliquez sur « Continuer l'exécution » et attendez que les ressources soient allouées. Lorsque le statut passe à « En cours d’exécution », cliquez sur « Ouvrir l’espace de travail ».

5. Cliquez sur « Continuer l'exécution » et attendez que les ressources soient allouées. Lorsque le statut passe à « En cours d’exécution », cliquez sur « Ouvrir l’espace de travail ».

OLLAMA_MODELS=/openbayes/home/ollama-models ./ollama serve

7. Créez une nouvelle page de terminal et entrez le contenu suivant dans la ligne de commande pour démarrer Open WebUI.

bash /openbayes/input/input1/open-webui/backend/start.sh

8. Attendez un moment. Lorsque la ligne de commande affiche « INFO : Uvicorn s'exécute sur http://0.0.0.0:8080 », copiez l'adresse API à droite dans la barre d'adresse du navigateur pour ouvrir la page Ouvrir l'interface Web.Veuillez noter que les utilisateurs doivent effectuer l'authentification par nom réel avant d'utiliser la fonction d'accès à l'adresse API.

Affichage des effets
1. Après avoir ouvert l'interface Open WebUI, connectez-vous à votre compte.

Compte : admin@example.com

Mot de passe : adminadmin

2. Sélectionnez le modèle Llama 3-70B.

3. Saisissez la question et vous pourrez l'utiliser.

À l’heure actuelle, le site Web officiel d’HyperAI a lancé des centaines de tutoriels sélectionnés liés à l’apprentissage automatique, qui sont organisés sous la forme de Jupyter Notebook.
Cliquez sur le lien pour rechercher des tutoriels et des ensembles de données associés :https://hyper.ai/tutorials
Ce qui précède est tout le contenu partagé par l'éditeur cette fois-ci. J'espère que ce contenu vous sera utile. Si vous souhaitez apprendre d'autres tutoriels intéressants, veuillez laisser un message ou nous envoyer un message privé à l'adresse du projet. L'éditeur vous concoctera un cours sur mesure et vous apprendra à jouer avec l'IA.
Références :

1.https://mp.weixin.qq.com/s/bw1-e9Nou7CeR-9iaGNLNA

2.https://mp.weixin.qq.com/s/GoxWufZhemddpvCkOwYAKg

3.https://mp.weixin.qq.com/s/tkMb2RRblCvOpxP7yBTl-w