Fine-tuning für Few-Shot-Lernen erneut betrachtet

Few-Shot-Lernen ist der Prozess, bei dem neue Klassen mit nur wenigen Beispielen gelernt werden, und es bleibt eine herausfordernde Aufgabe im maschinellen Lernen. Viele anspruchsvolle Few-Shot-Lernalgorithmen wurden vorgeschlagen, basierend auf der Annahme, dass Netzwerke leicht an neue Beispiele überanpassen (overfit), wenn sie lediglich mit wenigen Beispielen feinjustiert werden. In dieser Studie zeigen wir, dass in dem häufig verwendeten Low-Resolution Mini-ImageNet-Datensatz die Feinabstimmungsmethode (fine-tuning method) eine höhere Genauigkeit als übliche Few-Shot-Lernalgorithmen in der 1-Schuss-Aufgabe (1-shot task) erreicht und fast die gleiche Genauigkeit wie der Stand-des-Wissens-Algorithmus (state-of-the-art algorithm) in der 5-Schuss-Aufgabe (5-shot task). Wir evaluieren dann unsere Methode an praktischeren Aufgaben, nämlich den High-Resolution Single-Domain- und Cross-Domain-Aufgaben. Bei beiden Aufgaben zeigen wir, dass unsere Methode eine höhere Genauigkeit als übliche Few-Shot-Lernalgorithmen erzielt. Wir analysieren die experimentellen Ergebnisse weiter und zeigen, dass: 1) der Retrainingsprozess durch die Verwendung einer niedrigen Lernrate stabilisiert werden kann, 2) die Verwendung adaptiver Gradientenoptimierer während der Feinabstimmung die Testgenauigkeit erhöhen kann und 3) die Testgenauigkeit verbessert werden kann, indem das gesamte Netzwerk aktualisiert wird, wenn zwischen den Basis- und den neuen Klassen ein großer Domänenverschiebung (domain-shift) besteht.