Singular Value Fine-tuning : la segmentation en few-shot nécessite un fine-tuning à faible nombre de paramètres

Le gel du squelette pré-entraîné est devenu un paradigme standard afin d’éviter le surapprentissage dans le cadre de la segmentation à très peu d’exemples. Dans cet article, nous repensons ce paradigme et explorons un nouveau régime : le fine-tuning d’une petite partie des paramètres du squelette. Nous proposons une solution pour surmonter le problème de surapprentissage, conduisant à une meilleure généralisation du modèle lors de l’apprentissage de nouvelles classes. Notre méthode décompose les paramètres du squelette en trois matrices successives via une décomposition en valeurs singulières (SVD), puis ne fine-tune que les valeurs singulières, en maintenant les autres paramètres gelés. Ce design permet au modèle d’ajuster les représentations de caractéristiques pour les nouvelles classes tout en préservant les indices sémantiques présents dans le squelette pré-entraîné. Nous évaluons notre approche, appelée Fine-tuning des Valeurs Singulières (SVF), sur diverses méthodes de segmentation à très peu d’exemples utilisant différents squelettes. Nous obtenons des résultats de pointe sur les jeux de données Pascal-5$^i$ et COCO-20$^i$ dans les configurations 1-shot et 5-shot. Espérons que cette base simple incitera les chercheurs à repenser le rôle du fine-tuning du squelette dans les scénarios de peu d’exemples. Le code source et les modèles seront disponibles à l’adresse https://github.com/syp2ysy/SVF.