Command Palette
Search for a command to run...
Tutoriels En Ligne | Avec Plus De 77 000 Étoiles, Les Cours LLM Couvrent Les Connaissances Pratiques Et La Formation Pratique, Du Niveau Débutant Au Niveau avancé.
Lorsque les maquettes grand format sont devenues un sujet de conversation courant, même parmi les personnes âgées et les enfants, cette vague technologique a cessé de se limiter aux articles de recherche ou aux discussions entre investisseurs. Cette technologie innovante, qui continue de progresser à grands pas, a engendré d'innombrables changements concrets. De ce fait, l'écosystème industriel et applicatif entourant la microfabrication a connu une expansion fulgurante, attirant un nombre croissant de personnes aux motivations diverses : certains souhaitent rester à la pointe de la technologie, d'autres cherchent de nouvelles opportunités commerciales, et d'autres encore sont simplement séduits par cette effervescence technologique.
Mais au-delà de l'engouement, un problème plus concret se dessine peu à peu : comprendre et maîtriser véritablement les grands modèles de langage n'est pas chose aisée. Des principes de modélisation et des méthodes d'entraînement à l'optimisation de l'inférence et au développement d'applications,La chaîne de connaissances impliquée est longue et l'infrastructure technologique complexe. La fragmentation de l'information rend difficile une compréhension systématique, et il existe un seuil net entre les niveaux débutant et avancé.
C’est dans ce contexte que,Le projet open-source LLM Course a suscité un vif intérêt depuis sa sortie et a déjà récolté 77 000 étoiles.Il réorganise les connaissances dispersées dans les articles, les blogs et les pratiques de programmation en un système d'apprentissage doté d'une structure claire et d'un parcours bien défini.
Contrairement aux tutoriels épars ou aux documents techniques isolés, le cours LLM tente de répondre à une question plus systématique :Pour maîtriser véritablement les grands modèles de langage, il faut savoir quoi apprendre, dans quel ordre et comment transformer ces connaissances en une application fonctionnelle.Des mathématiques de base et des réseaux neuronaux à l'entraînement, l'alignement et l'évaluation des modèles, puis à RAG, à l'agent et au déploiement, ce projet décompose le système technologique complexe LLM en modules structurés, créant un parcours d'apprentissage relativement clair.
En bref, que vous soyez débutant ou développeur expérimenté, vous trouverez des ressources d'apprentissage adaptées au sein du cours LLM. Pour faciliter une mise en pratique rapide,HyperAI a mis en ligne des extraits des démonstrations Notebook de son cours LLM dans la section « Tutoriels ».Tous les environnements d'exploitation sont entièrement configurés et prêts à l'emploi dès leur sortie de l'emballage.
Exécutez en ligne :
Voici les détails du tutoriel :
1. Mise au point du modèle
Réglage fin
Le fine-tuning est une technique essentielle pour adapter les modèles pré-entraînés à des tâches spécifiques. Ce module aborde plusieurs méthodes de fine-tuning courantes :
* Optimisation de Llama 3.1 8B à l'aide d'Unsloth
Le framework Unsloth offre un réglage fin supervisé très efficace, économisant plus de 701 TP3T de mémoire.
* Mise au point du LLM à l'aide d'Axolotl
Un cadre de réglage fin tout-en-un qui prend en charge plusieurs modèles et stratégies d'entraînement.
Réglage fin de Llama 2 dans Google Colab
Exercices de réglage fin gratuits dans le cloud : la méthode QLoRA expliquée en détail
* Réglage fin du Mistral 7B à l'aide du DPO
L'optimisation directe des préférences améliore la qualité de l'alignement des modèles.
* Réglage fin du Mistral 7B à l'aide de SFT
Superviser et optimiser l'ensemble du processus, des données à l'évaluation.
2. Quantification
Quantification
La quantification est une technologie clé pour réduire les coûts de déploiement des modèles et peut réduire la taille du modèle de plus de 75%.
Quantification GPTQ 4 bits
Explication détaillée de l'algorithme GPTQ : Exécution de modèles volumineux sur du matériel grand public
* Introduction à la quantification pondérée
Principes fondamentaux de la quantification : Comparaison des formats FP32/FP16/INT8/INT4
* Quantification GGUF + llama.cpp
Format privilégié pour le déploiement local, optimisé pour l'inférence CPU/GPU.
* Quantification ExLlamaV2
L'un des moteurs d'inférence les plus rapides, explication détaillée du format EXL2.
3. Applications avancées
Explorez les technologies de pointe et les applications avancées dans le domaine du LLM.
* Stratégies de décodage pour les grands modèles de langage
Guide complet : de la recherche gloutonne à l’échantillonnage du noyau
* Augmentation des graphes de connaissances
ChatGPTRAG + Knowledge Graph : Réduisez les illusions et améliorez la précision
* Kit de fusion paresseux
Fusion de modèles en un clic, vous permettant de travailler avec MoE même sans GPU.
* Guide complet de Mergekit
Principes et pratiques de fusion de modèles, SLERP/TIES/DARE
* Utilisez l'ablitération pour supprimer la censure
Technique de suppression de l'alignement du modèle pour explorer les limites du comportement du modèle
4. ensemble d'outils
Des outils pratiques pour améliorer l'efficacité du développement et simplifier le développement des LLM.
* Autoévaluation LLM
Évaluation automatisée du modèle, exécution en un clic avec RunPod
* LazyAxolotl
Réglage et démarrage en un clic via le cloud, aucune configuration complexe requise.
* Arbre généalogique modèle
Visualisez les relations entre les modèles pour comprendre l'évolution du LLM.
AutoQuant
Quantification en un clic, compatible avec GGUF/GPTQ/EXL2/AWQ
* AutoAblitération
Suppression automatique des alignements, jeu de données personnalisé
* ZeroChat
Interface de chat sans GPU, Hugging Face (GPU gratuit)
* Déduplication automatique
Déduplication automatique des jeux de données : MinHash + déduplication sémantique
5. Cours sur les réseaux neuronaux graphiques
Cours sur les réseaux neuronaux graphiques
Les réseaux neuronaux graphiques sont des outils puissants pour le traitement des données non euclidiennes et sont largement utilisés dans les réseaux sociaux, les systèmes de recommandation et d'autres domaines.
* Réseaux de convolution de graphes (GCN)
Cours d'introduction essentiel aux GNN : théorie spectrale des graphes et passage de messages
* Réseau d'attention graphique (GAT)
Application des mécanismes d'attention aux graphes
* GraphSAGE
Agrégation d'échantillonnage de graphes à grande échelle, apprentissage inductif
* Réseaux isomorphes de graphes (GIN)
La capacité expressive la plus forte : le test de Weisfeiler-Lehman
6. Autres tutoriels utiles
Il aborde les compétences pratiques dans de multiples domaines tels que les principes fondamentaux de l'apprentissage profond, l'apprentissage par renforcement et l'optimisation des données.
Bot de recherche de diamants Minecraft
Apprentissage par renforcement en pratique : environnement MineRL et Q-Learning
* Optimisation de l'itération des lignes Pandas
Conseils pour améliorer les performances de traitement des données de plus de 100 fois
Les tenseurs en apprentissage profond
Notions de base des tenseurs PyTorch, mécanisme de diffusion, différentiation automatique
Tutoriel Q Learning
Introduction à l'apprentissage par renforcement : explication détaillée de l'algorithme d'itération de valeur
7. Programmation linéaire
Principes fondamentaux de la recherche opérationnelle : Modélisation mathématique et résolution des problèmes d'optimisation des ressources.
Introduction à la programmation linéaire
Méthode du simplexe, théorie de la dualité, analyse de sensibilité
Programmation en nombres entiers vs. programmation linéaire
Méthode de coupe par branches et par plans
* Programmation par contraintes
CSP, recherche avec retour arrière, propagation de contraintes
* Optimisation non linéaire du budget marketing
Optimisation convexe, descente de gradient, maximisation du ROI
Le tutoriel ci-dessus est celui recommandé par HyperAI cette fois-ci. Bienvenue à tous pour le découvrir !
Lien du tutoriel :
