Command Palette
Search for a command to run...
Few-Shot-Segmentierung ohne Meta-Lernen: Ist eine gute transduktive Inferenz alles, was Sie brauchen?
Few-Shot-Segmentierung ohne Meta-Lernen: Ist eine gute transduktive Inferenz alles, was Sie brauchen?
Malik Boudiaf Hoel Kervadec Ziko Imtiaz Masud Pablo Piantanida Ismail Ben Ayed Jose Dolz
Zusammenfassung
Wir zeigen, dass die Art und Weise, wie die Inferenz in Few-Shot-Segmentierungsaufgaben durchgeführt wird, erheblichen Einfluss auf die Leistungsfähigkeit hat – ein Aspekt, der in der Literatur oft vernachlässigt wird, da der Fokus stärker auf dem Meta-Learning-Paradigma liegt. Wir stellen eine transduktive Inferenz für ein gegebenes Abfragen-Bild vor, die die Statistiken der nicht beschrifteten Pixel dieses Bildes nutzt, indem eine neue Verlustfunktion mit drei komplementären Termen optimiert wird: i) die Kreuzentropie auf den beschrifteten Support-Pixeln; ii) die Shannon-Entropie der Posteriorwahrscheinlichkeiten auf den nicht beschrifteten Pixeln des Abfragen-Bildes; und iii) ein globaler KL-Divergenz-Regularisierer, der auf dem Anteil der vorhergesagten Vordergrund-Pixel basiert. Da unsere Inferenz einen einfachen linearen Klassifikator der extrahierten Merkmale verwendet, weist sie eine vergleichbare Rechenlast wie induktive Inferenz auf und kann auf beliebige Basis-Trainingsmethoden aufgesetzt werden. Ohne episodisches Training und unter Verwendung lediglich des standardmäßigen Kreuzentropie-Trainings auf den Basis-Klassen erzielt unsere Methode wettbewerbsfähige Ergebnisse auf Standard-Benchmarks im 1-Shot-Szenario. Mit zunehmender Anzahl verfügbarer Shots vergrößert sich die Leistungsunterschiede: Auf PASCAL-5i erreichen wir im 5-Shot- und 10-Shot-Szenario jeweils etwa 5 % bzw. 6 % Verbesserung gegenüber dem Stand der Technik. Zudem führen wir eine neue Evaluierungs-Situation ein, die Domänenverschiebungen beinhaltet, bei der Basis- und neue Klassen aus unterschiedlichen Datensätzen stammen. Unser Ansatz erzielt in dieser realistischeren Situation die besten Ergebnisse. Unser Code ist frei online verfügbar: https://github.com/mboudiaf/RePRI-for-Few-Shot-Segmentation.