LoRA D'adaptation De Bas Rang

LoRA (Low-Rank Adaptation) est une technique populaire pour affiner le LLM (Large Language Model), initialement proposée par des chercheurs de Microsoft dans l'article « LORA : ADAPTATION DE BAS RANG DE GRANDS MODÈLES DE LANGAGE »proposé dans.

Dans le paysage technologique actuel en constante évolution, les modèles d’IA à grande échelle génèrent des avancées révolutionnaires dans tous les domaines. Cependant, l’adaptation de ces modèles à des tâches ou à des ensembles de données spécifiques peut être une tâche gourmande en ressources et en calculs. LoRA (Low Level Adaptation) est une technologie de réglage fin révolutionnaire et efficace, qui peut exploiter la puissance de ces modèles avancés pour des tâches et des ensembles de données personnalisés sans solliciter les ressources ni entraîner des coûts prohibitifs. L’idée de base est de concevoir une matrice de bas rang, puis de l’ajouter à la matrice d’origine. Dans ce contexte, un « adaptateur » est un ensemble de matrices de bas rang qui, lorsqu’elles sont ajoutées à un modèle de base, produisent un modèle affiné. Il permet d'approcher les performances d'un réglage fin complet du modèle avec des besoins d'espace beaucoup plus réduits. Un modèle de langage avec des milliards de paramètres peut ne nécessiter que des millions de paramètres pour le réglage fin de LoRA.

Références

【1】https://www.ml6.eu/blogpost/low-rank-adaptation-a-technical-deep-dive

【2】https://zh.wikipedia.org/wiki/_()