SoMA : Adaptation des composantes mineures décomposées par décomposition en valeurs singulières pour un apprentissage représentationnel généralisable au domaine

La généralisation de domaine (DG) vise à adapter un modèle à partir d’un ou plusieurs domaines sources afin d’assurer une performance robuste sur des domaines cibles inédits. Récemment, le fine-tuning à faible coût en paramètres (PEFT) des modèles fondamentaux a montré des résultats prometteurs dans le cadre du problème de DG. Toutefois, les méthodes PEFT existantes peinent encore à trouver un équilibre optimal entre la préservation des composantes généralisables du modèle pré-entraîné et l’apprentissage de caractéristiques spécifiques à la tâche. Pour mieux comprendre la répartition de ces composantes généralisables, nous commençons par analyser les poids pré-entraînés à l’aide de la décomposition en valeurs singulières (SVD). Sur la base de ces observations, nous proposons SoMA (Singular Value Decomposed Minor Components Adaptation), une approche qui ajuste sélectivement les composantes singulières mineures tout en maintenant les autres parties du modèle gelées. SoMA préserve efficacement la capacité de généralisation du modèle pré-entraîné tout en acquérant de manière efficace des compétences spécifiques à la tâche. En outre, nous gelons les blocs généralisables au domaine et utilisons une stratégie d’atténuation de la décroissance de poids (annealing weight decay), permettant ainsi d’atteindre un équilibre optimal dans le compromis délicat entre généralisabilité et discriminabilité. SoMA obtient des résultats de pointe sur plusieurs benchmarks couvrant à la fois la segmentation sémantique généralisée de domaine et la détection d’objets généralisée de domaine. En outre, notre méthode n’introduit ni surcharge d’inférence ni perte de régularisation, reste compatible avec tout architecture de base (backbone) ou tête (head), et est conçue pour être polyvalente, permettant une intégration aisée dans une large gamme de tâches.