Model Zoo: Ein wachsender „Gehirn“, das kontinuierlich lernt

In diesem Paper wird argumentiert, dass kontinuierliche Lernmethoden davon profitieren können, die Kapazität des Lerners über mehrere Modelle zu verteilen. Anhand der statistischen Lerntheorie und experimenteller Analyse zeigen wir, wie mehrere Aufgaben sich bei der gemeinsamen Trainierung an einem einzelnen Modell auf nichttriviale Weise beeinflussen können. Die Generalisierungsfehler einer bestimmten Aufgabe können sich verbessern, wenn sie gemeinsam mit synergistischen Aufgaben trainiert wird, können sich aber auch verschlechtern, wenn sie mit konkurrierenden Aufgaben trainiert wird. Diese Theorie motiviert unsere Methode namens Model Zoo, die sich an der Boosting-Literatur orientiert und ein Ensemble kleiner Modelle aufbaut, wobei jedes Modell während einer einzelnen Episode des kontinuierlichen Lernens trainiert wird. Wir demonstrieren, dass Model Zoo erhebliche Gewinne an Genauigkeit bei einer Vielzahl von Benchmark-Aufgaben im Bereich des kontinuierlichen Lernens erzielt. Der Quellcode ist unter https://github.com/grasp-lyrl/modelzoo_continual verfügbar.