Negativer Margin zählt: Verständnis von Margin in Few-shot-Klassifikation

Diese Arbeit führt eine Negative-Margin-Verlustfunktion für metrische Lernverfahren im Kontext von Few-Shot-Lernmethoden ein. Der Negative-Margin-Verlust übertrifft den herkömmlichen Softmax-Verlust erheblich und erreicht state-of-the-art Genauigkeit auf drei Standardbenchmarks für Few-Shot-Klassifikation, selbst ohne umfangreiche zusätzliche Modifikationen. Diese Ergebnisse stehen im Gegensatz zur üblichen Praxis im Bereich des metrischen Lernens, bei der der Margin null oder positiv gewählt wird. Um zu verstehen, warum der Negative-Margin-Verlust für die Few-Shot-Klassifikation so gut funktioniert, analysieren wir die Unterscheidbarkeit der gelernten Merkmale bezüglich verschiedener Margin-Werte sowohl empirisch als auch theoretisch, sowohl für Trainings- als auch für neue Klassen. Wir stellen fest, dass, obwohl ein negativer Margin die Unterscheidbarkeit der Merkmale für die Trainingsklassen verringert, er gleichzeitig verhindern kann, dass Proben derselben neuen Klasse fälschlicherweise auf mehrere Gipfel oder Cluster abgebildet werden, was letztlich die Unterscheidbarkeit der neuen Klassen fördert. Der Quellcode ist verfügbar unter https://github.com/bl0/negative-margin.few-shot.