Command Palette
Search for a command to run...
Teilen und vergessen nicht: Ensemble aus selektiv trainierten Experten im kontinuierlichen Lernen
Teilen und vergessen nicht: Ensemble aus selektiv trainierten Experten im kontinuierlichen Lernen
Grzegorz Rypeść Sebastian Cygert Valeriya Khan Tomasz Trzciński Bartosz Zieliński Bartłomiej Twardowski
Zusammenfassung
Klasseninkrementelles Lernen gewinnt zunehmend an Beliebtheit, da es Modellen ermöglicht, ihre Anwendbarkeit zu erweitern, ohne bereits Gelerntes zu vergessen. Ein aktueller Trend in diesem Bereich besteht darin, eine Mischung aus Experten (Mixture-of-Experts) einzusetzen, bei der verschiedene Modelle gemeinsam an der Lösung einer Aufgabe arbeiten. Allerdings werden die Experten üblicherweise gleichzeitig mit dem gesamten Datensatz der jeweiligen Aufgabe trainiert, was sie anfällig für Vergessensphänomene und gleichzeitig die Rechenlast erhöht. Um diese Einschränkung zu überwinden, stellen wir einen neuartigen Ansatz namens SEED vor. SEED wählt für eine gegebene Aufgabe lediglich einen einzigen, den optimalen Experten aus und verwendet lediglich die Daten dieser Aufgabe, um ausschließlich diesen Experten zu feintunen. Dazu repräsentiert jeder Experte jede Klasse durch eine Gauß-Verteilung, und der optimale Experte wird auf Basis der Ähnlichkeit dieser Verteilungen ausgewählt. Dadurch steigert SEED die Diversität und Heterogenität innerhalb der Experten, während die hohe Stabilität der Ensemble-Methode erhalten bleibt. Umfangreiche Experimente zeigen, dass SEED in exemplarfreien Szenarien unter verschiedenen Bedingungen eine state-of-the-art-Leistung erzielt und somit das Potenzial der Expertendiversifizierung durch Daten im kontinuierlichen Lernen unterstreicht.