L'adaptation de rang faible (Low-Rank Adaptation, LoRA) a considérablement progressé dans le domaine du fine-tuning efficace en termes de paramètres des grands modèles pré-entraînés. LoRA enrichit les poids pré-entraînés d'un modèle en ajoutant le produit de deux matrices plus petites qui, ensemble, forment une mise à jour de matrice de rang faible. Des recherches récentes ont montré que les disparités d'échelle entre ces deux matrices provoquent souvent des dynamiques d'entraînement instables, entraînant des performances sous-optimales. Dans cet article, nous proposons SingLoRA, qui reformule l'adaptation de rang faible en apprenant la mise à jour des poids comme une décomposition d'une seule matrice de rang faible multipliée par sa transposée. Cette conception simple élimine intrinsèquement les conflits d'échelle inter-matriciels, garantissant une optimisation stable et réduisant approximativement de moitié le nombre de paramètres. Nous analysons SingLoRA dans le cadre des réseaux neuronaux à largeur infinie, montrant qu'elle assure par construction une apprentissage stable des caractéristiques. De nombreuses expériences sur plusieurs tâches valident ces avantages. En raisonnement basé sur le sens commun, le fine-tuning du modèle LLama 7B sur MNLI avec SingLoRA atteint une précision de 91,3 % – surpassant LoRA (89,1 %) et LoRA+ (90,2 %) – tout en utilisant seulement 60 % de leur budget de paramètres. En génération d'images, le fine-tuning de Stable Diffusion avec SingLoRA améliore significativement la fidélité des images sur DreamBooth, atteignant un score de similarité DINO de 0,151, contre 0,148 et 0,143 pour DoRA et LoRA respectivement.