HyperAIHyperAI

Command Palette

Search for a command to run...

Langschwanz-Lernen mit Fundierungsmodellen: Intensive Feinabstimmung schadet

Jiang-Xin Shi; Tong Wei; Zhi Zhou; Jie-Jing Shao; Xin-Yan Han; Yu-Feng Li

Zusammenfassung

Das Paradigma der Feinabstimmung (Fine-Tuning) bei der Bearbeitung von Long-Tail-Lernaufgaben hat seit dem Auftreten von Grundmodellen (Foundation Models) erhebliches Interesse geweckt. Dennoch wurde der Einfluss der Feinabstimmung auf die Leistung in Long-Tail-Lernaufgaben bisher nicht explizit quantifiziert. In dieser Arbeit legen wir dar, dass eine intensive Feinabstimmung sogar zu einem nicht zu vernachlässigenden Leistungsverlust in den Schwanzklassen führen kann und dass eine leichtgewichtige Feinabstimmung effektiver ist. Der Grund dafür wird auf inkonsistente Klassenbedingungen zurückgeführt, die durch eine intensive Feinabstimmung verursacht werden. Auf Basis dieser Beobachtungen haben wir einen Algorithmus mit geringer Komplexität und hoher Genauigkeit für Long-Tail-Lernaufgaben entwickelt, LIFT, dessen Ziel es ist, schnelle Vorhersagen und kompakte Modelle durch adaptive leichtgewichtige Feinabstimmung zu ermöglichen. Experimente bestätigen eindeutig, dass sowohl die Trainingszeit als auch die gelernten Parameter im Vergleich zu den bislang besten Ansätzen erheblich reduziert werden, wobei gleichzeitig eine genauere Vorhersageleistung erreicht wird. Der Implementierungscode ist unter https://github.com/shijxcs/LIFT verfügbar.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp