Mélange de sous-espaces dans l'adaptation de faible rang

Dans cet article, nous introduisons une méthode d’adaptation de faible rang inspirée par les sous-espaces, appelée LoRA à sous-espaces (LoRA sous-espaces), qui est à la fois efficace sur le plan computationnel, facile à implémenter et directement applicable aux grands modèles linguistiques, multimodaux et de diffusion. Initialement, nous décomposons équivalentement les poids de la LoRA en deux sous-espaces, et constatons qu’un simple mélange de ces sous-espaces améliore les performances. Pour étudier ce phénomène, nous le réexaminons à travers une optique fine de sous-espaces, en montrant que cette modification équivaut à utiliser un mélangeur fixe pour fusionner les sous-espaces. Afin d’augmenter la flexibilité, nous apprenons conjointement le mélangeur avec les poids initiaux de la LoRA, et désignons cette méthode comme MoSLoRA (Mixture-of-Subspaces LoRA). La MoSLoRA surpasse de manière cohérente la LoRA sur diverses tâches, incluant le raisonnement sur le sens commun, l’ajustement par instruction visuelle et la génération d’images à partir de texte guidée par un sujet, démontrant ainsi son efficacité et sa robustesse. Le code est disponible à l’adresse suivante : https://github.com/wutaiqiang/MoSLoRA{github}.