Singular Value Fine-tuning: Few-shot Segmentation erfordert Few-parameters Fine-tuning

Das Fixieren des vortrainierten Backbone hat sich zu einem etablierten Paradigma entwickelt, um Overfitting bei Few-Shot-Segmentierung zu vermeiden. In diesem Paper überdenken wir dieses Paradigma und untersuchen eine neue Strategie: das Feintunen eines kleinen Teils der Parameter im Backbone. Wir präsentieren eine Lösung, um das Overfitting-Problem zu überwinden, was zu einer verbesserten Generalisierungsfähigkeit des Modells beim Lernen neuer Klassen führt. Unser Ansatz zerlegt die Backbone-Parameter mittels der Singulärwertzerlegung (SVD) in drei aufeinanderfolgende Matrizen und feintunt nur die Singulärwerte, während die übrigen Parameter fixiert bleiben. Diese Architektur ermöglicht es dem Modell, die Merkmalsdarstellungen für neue Klassen anzupassen, während gleichzeitig semantische Hinweise im vortrainierten Backbone erhalten bleiben. Wir evaluieren unsere Methode, die wir Singulärwert-Feintuning (SVF) nennen, an verschiedenen Few-Shot-Segmentierungsmethoden mit unterschiedlichen Backbones. Auf beiden Datensätzen Pascal-5$^i$ und COCO-20$^i$ erzielen wir state-of-the-art Ergebnisse in sowohl 1-Shot- als auch 5-Shot-Szenarien. Wir hoffen, dass diese einfache Baseline Forscher dazu anregt, die Rolle des Backbone-Feintunings in Few-Shot-Szenarien neu zu überdenken. Der Quellcode und die Modelle werden unter https://github.com/syp2ysy/SVF verfügbar sein.