Command Palette
Search for a command to run...
Online-Tutorials | Mit Über 77.000 Sternen Bieten Die LLM-Kurse Praxisnahes Wissen Und Praktische Übungen Vom Anfänger- Bis Zum Fortgeschrittenenniveau.
Als „große Modelle“ zum Gesprächsthema auf den Straßen wurden, selbst unter Senioren und Kindern, beschränkte sich diese Technologiewelle nicht länger auf Forschungsarbeiten oder Investorendiskussionen. Diese innovative Technologie, die sich weiterhin rasant weiterentwickelt, hat unzählige konkrete Veränderungen bewirkt. Infolgedessen ist das industrielle und anwendungsbezogene Ökosystem rund um LLM schnell gewachsen, und immer mehr Menschen strömen aus unterschiedlichen Gründen darauf zu – manche wollen technologisch auf dem neuesten Stand bleiben, andere suchen nach neuen Geschäftsmöglichkeiten und wieder andere lassen sich einfach von diesem Technologieboom mitreißen.
Doch jenseits des Hypes zeichnet sich allmählich ein praktischeres Problem ab: Große Sprachmodelle wirklich zu verstehen und zu beherrschen, ist nicht einfach. Von Modellprinzipien und Trainingsmethoden bis hin zur Optimierung der Inferenz und Anwendungsentwicklung,Die involvierte Wissenskette ist lang und der Technologie-Stack komplex. Fragmentierte Informationen erschweren systematisches Denken, und es besteht eine klare Schwelle zwischen Anfänger- und Fortgeschrittenenniveau.
Vor diesem Hintergrund …Ein Open-Source-Projekt namens LLM Course hat seit seiner Veröffentlichung große Aufmerksamkeit erregt und bisher 77.000 Sterne erhalten.Es reorganisiert das in Aufsätzen, Blogs und Programmierpraktiken verstreute Wissen in ein Lernsystem mit klarer Struktur und einem klar definierten Pfad.
Im Gegensatz zu verstreuten Tutorials oder isolierten technischen Dokumenten versucht der LLM-Studiengang, eine systematischere Frage zu beantworten –Um große Sprachmodelle wirklich zu beherrschen, muss man wissen, was man lernen muss, in welcher Reihenfolge und wie man dieses Wissen in eine praktikable Anwendung umsetzen kann.Von grundlegenden mathematischen Grundlagen und neuronalen Netzen über Modelltraining, -ausrichtung und -bewertung bis hin zu RAG, Agent und Einsatz zerlegt dieses Projekt das komplexe LLM-Technologiesystem in strukturierte Module und schafft so einen relativ klaren Lernpfad.
Kurz gesagt: Egal ob Anfänger oder erfahrener Entwickler, im LLM-Kurs finden Sie passende Lernressourcen. Um schnelles Üben zu ermöglichen,HyperAI hat Teile der Notebook-Demonstrationen aus seinem LLM-Kurs in den Bereich „Tutorials“ hochgeladen.Alle Betriebsumgebungen sind vollständig konfiguriert und sofort einsatzbereit.
Online ausführen:
Die Details zum Tutorial lauten wie folgt:
1. Modell-Feinabstimmung
Feinabstimmung
Feinabstimmung ist eine Schlüsseltechnik, um vortrainierte Modelle an spezifische Aufgaben anzupassen. Dieses Modul behandelt mehrere gängige Feinabstimmungsmethoden:
* Feinabstimmung von Llama 3.1 8B mit Unsloth
Das Unsloth-Framework bietet hocheffizientes überwachtes Feintuning und spart über 701 TP3T Speicherplatz.
* Feinabstimmung von LLM mit Axolotl
Ein umfassendes Feinabstimmungs-Framework, das mehrere Modelle und Trainingsstrategien unterstützt.
Feinabstimmung von Llama 2 in Google Colab
Kostenloses cloudbasiertes Feintuning-Training: Die QLoRA-Methode im Detail erklärt
* Feinabstimmung von Mistral 7B mit DPO
Die direkte Präferenzoptimierung verbessert die Qualität der Modellausrichtung.
* Feinabstimmung von Mistral 7B mit SFT
Überwachung und Feinabstimmung des gesamten Prozesses, von der Datenerhebung bis zur Auswertung
2. Quantifizierung
Quantisierung
Die Quantisierung ist eine Schlüsseltechnologie zur Senkung der Kosten für die Modellbereitstellung und kann die Modellgröße um mehr als 75% reduzieren.
* 4-Bit-GPTQ-Quantisierung
Detaillierte Erklärung des GPTQ-Algorithmus: Ausführen großer Modelle auf handelsüblicher Hardware
* Einführung in die gewichtete Quantisierung
Grundlagen der Quantisierung: Vergleich von FP32/FP16/INT8/INT4
* GGUF + llama.cpp Quantisierung
Bevorzugtes Format für die lokale Bereitstellung, optimiert für CPU/GPU-Inferenz.
* ExLlamaV2-Quantisierung
Eine der schnellsten Inferenzmaschinen, detaillierte Erklärung des EXL2-Formats.
3. Erweiterte Anwendungen
Entdecken Sie innovative Technologien und fortschrittliche Anwendungen im Bereich des LLM.
* Dekodierungsstrategien für große Sprachmodelle
Ein vollständiger Leitfaden von der gierigen Suche bis zum Nucleus Sampling
* Erweiterung des Wissensgraphen
ChatGPTRAG + Wissensgraph: Illusionen reduzieren und Genauigkeit verbessern
* LazyMergekit
Modellzusammenführung mit einem Klick, sodass Sie auch ohne GPU mit MoE arbeiten können.
* Vollständiger Leitfaden zu Mergekit
Modellfusionsprinzipien und -praktiken, SLERP/TIES/DARE
* Verwenden Sie Abliteration, um Zensur zu entfernen
Technik zur Entfernung der Modellausrichtung, um die Grenzen des Modellverhaltens zu untersuchen
4. Werkzeugsatz
Praktische Werkzeuge zur Steigerung der Entwicklungseffizienz und zur Vereinfachung des LLM-Studiums.
* LLM AutoEval
Automatisierte Modellevaluierung, Ausführung mit einem Klick mit RunPod
* Fauler Axolotl
Feinabstimmung und Start per Cloud mit nur einem Klick, keine komplexe Konfiguration erforderlich.
* Musterstammbaum
Visualisieren Sie die Beziehungen zwischen den Modellen, um die Entwicklung von LLM zu verstehen.
AutoQuant
Ein-Klick-Quantisierung, unterstützt GGUF/GPTQ/EXL2/AWQ
* Autoabliteration
Automatische Ausrichtungsentfernung, benutzerdefinierter Datensatz
* ZeroChat
Chat-Oberfläche ohne GPU, Hugging Face (kostenlose GPU)
* Automatische Dedup
Automatische Deduplizierung von Datensätzen: MinHash + semantische Deduplizierung
5. Kurs über Graphische Neuronale Netze
Kurs über Graphische Neuronale Netze
Graph-Neuronale Netze sind leistungsstarke Werkzeuge zur Verarbeitung nicht-euklidischer Daten und werden in sozialen Netzwerken, Empfehlungssystemen und anderen Bereichen häufig eingesetzt.
* Graph Convolutional Networks (GCNs)
Grundlagenkurs zu GNNs: Spektrale Graphentheorie und Message Passing
* Graph Attention Network (GAT)
Anwendung von Aufmerksamkeitsmechanismen auf Graphen
* GraphSAGE
Aggregation von Stichproben aus großen Graphen, induktives Lernen
* Graphisomorphe Netzwerke (GIN)
Die stärkste Ausdrucksfähigkeit: der Weisfeiler-Lehman-Test
6. Weitere nützliche Anleitungen
Es vermittelt praktische Fähigkeiten in verschiedenen Bereichen wie den Grundlagen des Deep Learning, dem Reinforcement Learning und der Datenoptimierung.
Minecraft Diamantenfinder-Bot
Reinforcement Learning in der Praxis: MineRL-Umgebung Q-Learning
* Pandas-Zeileniterationsoptimierung
Tipps zur Steigerung der Datenverarbeitungsleistung um mehr als das Hundertfache
Tensoren im Deep Learning
PyTorch-Tensor-Grundlagen, Broadcast-Mechanismus, automatische Differenzierung
* Q-Lern-Tutorial
Einführung in das Reinforcement Learning: Detaillierte Erklärung des Wertiterationsalgorithmus
7. Lineare Programmierung
Grundlagen der Operationsforschung: Mathematische Modellierung und Lösung von Ressourcenoptimierungsproblemen.
Einführung in die lineare Programmierung
Simplex-Methode, Dualitätstheorie, Sensitivitätsanalyse
Ganzzahlige Programmierung vs. lineare Programmierung
Branch-and-Bound-Verfahren, Schnittebenenmethode
* Constraint-Programmierung
CSP, Backtracking-Suche, Constraint-Propagation
* Nichtlineare Optimierung des Marketingbudgets
Konvexe Optimierung, Gradientenabstieg, ROI-Maximierung
Das Obige ist das diesmal von HyperAI empfohlene Tutorial. Jeder ist herzlich eingeladen, vorbeizukommen und es auszuprobieren!
Link zum Tutorial:
