HyperAIHyperAI

Command Palette

Search for a command to run...

Singular Value Fine-tuning : la segmentation en few-shot nécessite un fine-tuning à faible nombre de paramètres

Yanpeng Sun Qiang Chen Xiangyu He Jian Wang Haocheng Feng Junyu Han Errui Ding Jian Cheng Zechao Li Jingdong Wang

Résumé

Le gel du squelette pré-entraîné est devenu un paradigme standard afin d’éviter le surapprentissage dans le cadre de la segmentation à très peu d’exemples. Dans cet article, nous repensons ce paradigme et explorons un nouveau régime : le fine-tuning d’une petite partie des paramètres du squelette. Nous proposons une solution pour surmonter le problème de surapprentissage, conduisant à une meilleure généralisation du modèle lors de l’apprentissage de nouvelles classes. Notre méthode décompose les paramètres du squelette en trois matrices successives via une décomposition en valeurs singulières (SVD), puis ne fine-tune que les valeurs singulières, en maintenant les autres paramètres gelés. Ce design permet au modèle d’ajuster les représentations de caractéristiques pour les nouvelles classes tout en préservant les indices sémantiques présents dans le squelette pré-entraîné. Nous évaluons notre approche, appelée Fine-tuning des Valeurs Singulières (SVF), sur diverses méthodes de segmentation à très peu d’exemples utilisant différents squelettes. Nous obtenons des résultats de pointe sur les jeux de données Pascal-5i^ii et COCO-20i^ii dans les configurations 1-shot et 5-shot. Espérons que cette base simple incitera les chercheurs à repenser le rôle du fine-tuning du squelette dans les scénarios de peu d’exemples. Le code source et les modèles seront disponibles à l’adresse https://github.com/syp2ysy/SVF.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp