HyperAIHyperAI

Command Palette

Search for a command to run...

LAMOL: LAnguage MOdeling für lebenslanges Sprachenlernen

Fan-Keng Sun Cheng-Hao Ho Hung-Yi Lee

Zusammenfassung

Die meisten Forschungsarbeiten zum lebenslangen Lernen beziehen sich auf Bilder oder Spiele, nicht jedoch auf Sprache. Wir stellen LAMOL vor, eine einfache aber wirksame Methode für das lebenslange Sprachlernen (LLL), die auf der Sprachmodellierung basiert. LAMOL wiederholt Pseudodaten früherer Aufgaben, benötigt dabei jedoch keinen zusätzlichen Speicherplatz oder erhöhten Modellkapazitätsbedarf. Konkret ist LAMOL ein Sprachmodell, das gleichzeitig lernt, Aufgaben zu lösen und Trainingsdaten zu generieren. Bei der Trainingsphase einer neuen Aufgabe erzeugt das Modell Pseudodaten früherer Aufgaben, die gemeinsam mit den Daten der neuen Aufgabe zum Training verwendet werden. Die Ergebnisse zeigen, dass LAMOL katastrophales Vergessen verhindert, ohne Anzeichen von Starrheit, und fünf sehr unterschiedliche Sprachaufgaben sequenziell mit nur einem einzigen Modell bewältigen kann. Insgesamt übertrifft LAMOL bisherige Ansätze deutlich und erreicht nur 2–3 % weniger als das Multitasking-Verfahren, das gewöhnlich als oberer Grenzwert für LLL gilt. Der Quellcode ist unter https://github.com/jojotenya/LAMOL verfügbar.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
LAMOL: LAnguage MOdeling für lebenslanges Sprachenlernen | Paper | HyperAI