HyperAIHyperAI

Command Palette

Search for a command to run...

Fine-tuning für Few-Shot-Lernen erneut betrachtet

Akihiro Nakamura Tatsuya Harada

Zusammenfassung

Few-Shot-Lernen ist der Prozess, bei dem neue Klassen mit nur wenigen Beispielen gelernt werden, und es bleibt eine herausfordernde Aufgabe im maschinellen Lernen. Viele anspruchsvolle Few-Shot-Lernalgorithmen wurden vorgeschlagen, basierend auf der Annahme, dass Netzwerke leicht an neue Beispiele überanpassen (overfit), wenn sie lediglich mit wenigen Beispielen feinjustiert werden. In dieser Studie zeigen wir, dass in dem häufig verwendeten Low-Resolution Mini-ImageNet-Datensatz die Feinabstimmungsmethode (fine-tuning method) eine höhere Genauigkeit als übliche Few-Shot-Lernalgorithmen in der 1-Schuss-Aufgabe (1-shot task) erreicht und fast die gleiche Genauigkeit wie der Stand-des-Wissens-Algorithmus (state-of-the-art algorithm) in der 5-Schuss-Aufgabe (5-shot task). Wir evaluieren dann unsere Methode an praktischeren Aufgaben, nämlich den High-Resolution Single-Domain- und Cross-Domain-Aufgaben. Bei beiden Aufgaben zeigen wir, dass unsere Methode eine höhere Genauigkeit als übliche Few-Shot-Lernalgorithmen erzielt. Wir analysieren die experimentellen Ergebnisse weiter und zeigen, dass: 1) der Retrainingsprozess durch die Verwendung einer niedrigen Lernrate stabilisiert werden kann, 2) die Verwendung adaptiver Gradientenoptimierer während der Feinabstimmung die Testgenauigkeit erhöhen kann und 3) die Testgenauigkeit verbessert werden kann, indem das gesamte Netzwerk aktualisiert wird, wenn zwischen den Basis- und den neuen Klassen ein großer Domänenverschiebung (domain-shift) besteht.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
Fine-tuning für Few-Shot-Lernen erneut betrachtet | Paper | HyperAI