Online-Tutorial | Keine Hürde Für Die Bereitstellung Von Llama 3. Die 70B-Version Benötigt Nur 1,07 GB Speicherplatz. Neue Benutzer Können Die 8B-Version Kostenlos Nutzen.

Am 18. April kündigte Meta die Open Source von Llama 3 an. Nach der Veröffentlichung sorgte dieses sogenannte „bisher beste Open Source-Großmodell“ sofort für Aufsehen in der Technologiebranche!

Das Veröffentlichungsdatum fiel mit dem Geburtstag von Andrew Ng zusammen, einem Professor an der Stanford University und führenden KI-Experten. Als Befürworter von Open-Source-KI postete er aufgeregt:Das ist das beste Geburtstagsgeschenk, das ich je bekommen habe, danke, Meta.

Yann LeCun, Chefwissenschaftler von Meta und Turing-Award-Gewinner, empfahl auf seinem Account auch sein neuestes Open-Source-Modell:Es unterstützt 8.000 lange Texte, verwendet mehr als 15.000 Token für das Training auf einem 24.000 GPU-Cluster und schneidet in mehreren Bewertungsbenchmarks gut ab.Bei einigen Aufgaben schneidet Llama 3-8B besser ab als Llama 2-70B. Weitere Veröffentlichungen werden in den kommenden Monaten folgen.
Laut der offiziellen Website verwendet Llama 3 fortschrittliche Technologien zur Befehlsoptimierung, darunter Supervised Fine-Tuning (SFT), Proximate Policy Optimization (PPO) und Direct Policy Optimization (DPO), was im Vergleich zu Llama 2 einen qualitativen Sprung darstellt. In puncto Sicherheit weist die neue Version der Vertrauens- und Sicherheitstools mit Llama Guard 2, Code Shield und CyberSec Eval 2 eine bessere „False Rejection Performance“ auf als Llama 2.
Es ist erwähnenswert, dass Meta bei der Veröffentlichung von Llama 3 in seinem offiziellen Blog auch erklärte, dass eine neue Version des Modells mit mehr als 400 Milliarden Parametern trainiert werde. Jim Fan, leitender Wissenschaftler bei NVIDIA, glaubt, dassDie mögliche zukünftige Einführung von Llama 3-400B markiert den Beginn der Verfügbarkeit von GPT-4-Level-Modellen für die Open-Source-Community, was die Art und Weise verändern wird, wie viele Forschungsprojekte und Grassroots-Startups Datenverarbeitung betreiben.

Um die Leistung von Llama 3 in realen Szenarien zu bewerten,Meta hat einen neuen, hochwertigen Datensatz zur menschlichen Bewertung entwickelt, der reale Anwendungsfälle abdeckt, darunter, aber nicht beschränkt auf: Einholen von Vorschlägen, Brainstorming, Klassifizierung, Beantwortung geschlossener Fragen, Programmieren, kreatives Schreiben, Informationsextraktion, Rollenspiele, Beantwortung offener Fragen, logisches Denken, Umschreiben von Texten und Zusammenfassen.
Die Ergebnisse zeigen, dass Meta Llama 70B im Vergleich zu Claude Sonnet, Mistral Medium und GPT-3.5 im Vorteil ist.

Die Leistung übertrifft GPT-3.5 und liegt nahe an GPT-4. Ich glaube, jeder kann es kaum erwarten, Llama 3 zu erleben. Um Ihnen zu helfen, die lange Download-Wartezeit zu verkürzen, Rechenressourcen zu sparen und die Schwierigkeit der Modellbereitstellung zu verringern,HyperAI hat auf seiner Tutorial-Seite die Tutorials „Deploy Llama3-8B-Instruct using Ollama and Open WebUI“ und „Deploy Llama3-70B using Ollama and Open WebUI“ veröffentlicht.* Ollama und Open WebUI bieten leistungsstarke Back-End-Modellverwaltungs- und Front-End-Schnittstelleninteraktionsfunktionen. Durch die Kombination dieser beiden Tools können die Bereitstellung und Verwaltung großer Modelle problemlos abgeschlossen werden.
Llama3-70B benötigt nur 1,07 GB Speicherplatz.Starten Sie das Klonen mit einem Klick!
Adresse des HyperAI Hyperneural-Tutorials: *8B: https://hyper.ai/tutorials/31129*70B: https://hyper.ai/tutorials/31155
Der Herausgeber hat das Llama 3-Modell gemäß dem Tutorial bereitgestellt und allen geholfen, den tatsächlichen Effekt auszuprobieren.
* Ich habe Llama 3 bewusst gesteuert, aber es ließ sich nicht täuschen. Aber dieselbe Frage hat GPT-3.5 getäuscht! Als der Redakteur sah, dass die Frage ernsthaft beantwortet wurde, konnte er nicht anders, als es fast zu glauben.

* Der 1. Mai steht vor der Tür. Wohin sollen wir in den Urlaub fahren? Welchen sollten wir bei so vielen Orten wählen?

* Es kann auch mathematische Probleme lösen. Sie müssen sich keine Sorgen mehr um die Nachhilfe für Ihre Kinder zu Hause machen!

* Es kann auch übersetzt werden, was mein großes Problem löst!

* Gutenachtgeschichte, noch ein Trick gelernt.

Demo-Lauf
1. Melden Sie sich bei hyper.ai an und wählen Sie auf der Seite „Tutorials“ die Option „Llama3-8B-Instruct mit Ollama bereitstellen und WebUI öffnen“ oder „Llama3 70B mit Ollama bereitstellen und WebUI öffnen“ aus.
Als nächstes nehme ich das Tutorial „Llama3-70B mit Ollama und Open WebUI bereitstellen“ als Beispiel.

2. Klicken Sie auf „Dieses Tutorial online ausführen“. Klicken Sie nach dem Seitensprung oben rechts auf „Klonen“, um das Tutorial in Ihren eigenen Container zu klonen.

3. Klicken Sie unten rechts auf „Weiter: Hashrate auswählen“.

4. Wählen Sie nach dem Sprung „NVIDIA RTX A6000 48 GB“, wählen Sie das Bild „PyTorch“ und klicken Sie auf „Weiter: Überprüfen“.Neue Benutzer können sich über den untenstehenden Einladungslink registrieren, um 4 Stunden RTX 4090 + 5 Stunden zu erhalten CPU  FreiHashrateDauer!
Exklusiver Einladungslink von HyperAI (zum Registrieren kopieren und im Browser öffnen):https://openbayes.com/console/signup?r=6bJ0ljLFsFh_Vvej
Hinweis: Wenn Sie das Lernprogramm „Bereitstellen von Llama3-8B-Instruct mit Ollama und Open WebUI“ ausführen, wählen Sie „NVIDIA GeForce RTX 4090“ aus, um es auszuführen.

5. Klicken Sie auf „Ausführung fortsetzen“ und warten Sie, bis die Ressourcen zugewiesen wurden. Wenn sich der Status in „Läuft“ ändert, klicken Sie auf „Arbeitsbereich öffnen“.

5. Klicken Sie auf „Ausführung fortsetzen“ und warten Sie, bis die Ressourcen zugewiesen wurden. Wenn sich der Status in „Läuft“ ändert, klicken Sie auf „Arbeitsbereich öffnen“.

OLLAMA_MODELS=/openbayes/home/ollama-models ./ollama dienen

7. Erstellen Sie eine neue Terminalseite und geben Sie den folgenden Inhalt in die Befehlszeile ein, um Open WebUI zu starten.

bash /openbayes/input/input1/open-webui/backend/start.sh

8. Warten Sie eine Weile. Wenn in der Befehlszeile „INFO: Uvicorn läuft auf http://0.0.0.0:8080“ angezeigt wird, kopieren Sie die API-Adresse rechts in die Adressleiste des Browsers, um die Seite „WebUI öffnen“ zu öffnen.Bitte beachten Sie, dass Benutzer vor der Verwendung der API-Adresszugriffsfunktion eine Echtnamenauthentifizierung durchführen müssen.

Effektanzeige
1. Melden Sie sich nach dem Öffnen der Open WebUI-Oberfläche bei Ihrem Konto an.

Konto: admin@example.com

Passwort: adminadmin

2. Wählen Sie das Modell Llama 3-70B.

3. Geben Sie die Frage ein und Sie können sie verwenden.

Derzeit hat die offizielle Website von HyperAI Hunderte ausgewählter Tutorials zum Thema maschinelles Lernen veröffentlicht, die in Form eines Jupyter-Notebooks organisiert sind.
Klicken Sie auf den Link, um nach verwandten Tutorials und Datensätzen zu suchen:https://hyper.ai/tutorials
Das Obige ist der gesamte Inhalt, den der Herausgeber dieses Mal geteilt hat. Ich hoffe, dieser Inhalt ist für Sie hilfreich. Wenn Sie weitere interessante Tutorials erfahren möchten, hinterlassen Sie bitte eine Nachricht oder senden Sie uns eine private Nachricht mit der Projektadresse. Der Herausgeber erstellt einen individuellen Kurs für Sie und bringt Ihnen das Spielen mit KI bei.
Quellen:

1.https://mp.weixin.qq.com/s/bw1-e9Nou7CeR-9iaGNLNA

2.https://mp.weixin.qq.com/s/GoxWufZhemddpvCkOwYAKg

3.https://mp.weixin.qq.com/s/tkMb2RRblCvOpxP7yBTl-w