LAMOL: LAnguage MOdeling für lebenslanges Sprachenlernen

Die meisten Forschungsarbeiten zum lebenslangen Lernen beziehen sich auf Bilder oder Spiele, nicht jedoch auf Sprache. Wir stellen LAMOL vor, eine einfache aber wirksame Methode für das lebenslange Sprachlernen (LLL), die auf der Sprachmodellierung basiert. LAMOL wiederholt Pseudodaten früherer Aufgaben, benötigt dabei jedoch keinen zusätzlichen Speicherplatz oder erhöhten Modellkapazitätsbedarf. Konkret ist LAMOL ein Sprachmodell, das gleichzeitig lernt, Aufgaben zu lösen und Trainingsdaten zu generieren. Bei der Trainingsphase einer neuen Aufgabe erzeugt das Modell Pseudodaten früherer Aufgaben, die gemeinsam mit den Daten der neuen Aufgabe zum Training verwendet werden. Die Ergebnisse zeigen, dass LAMOL katastrophales Vergessen verhindert, ohne Anzeichen von Starrheit, und fünf sehr unterschiedliche Sprachaufgaben sequenziell mit nur einem einzigen Modell bewältigen kann. Insgesamt übertrifft LAMOL bisherige Ansätze deutlich und erreicht nur 2–3 % weniger als das Multitasking-Verfahren, das gewöhnlich als oberer Grenzwert für LLL gilt. Der Quellcode ist unter https://github.com/jojotenya/LAMOL verfügbar.