Ein evolutionärer Ansatz zur dynamischen Einführung von Aufgaben in großskaligen Multitask-Lernsystemen

Multitask-Lernen geht davon aus, dass Modelle, die aus mehreren Aufgaben lernen können, durch Wissensübertragung eine höhere Qualität und Effizienz erzielen – ein zentrales Merkmal menschlichen Lernens. Obwohl state-of-the-art-Maschinenlernmodelle derzeit für jede Aufgabe stark angepasst werden und statt der Skalierung der Anzahl von Aufgaben vor allem Größe und Datenskalierung ausnutzen, wird kontinuierliches Lernen – das die zeitliche Dimension im Multitask-Lernen einbezieht – oft nur auf typische Fehlerquellen wie katastrophales Vergessen untersucht, anstatt als zentrales Bauteil für die Entwicklung der nächsten Generation künstlicher Intelligenz in großem Maßstab erforscht zu werden. Wir stellen eine evolutionäre Methode vor, die in der Lage ist, große Skalen von Multitask-Modellen zu generieren, die die dynamische Hinzufügung neuer Aufgaben unterstützen. Die generierten Multitask-Modelle werden sparsam aktiviert und integrieren eine auf Aufgaben basierende Routing-Strategie, die eine begrenzte Berechnungskosten und wenige zusätzliche Parameter pro Aufgabe gewährleistet, selbst wenn das Modell erweitert wird. Die vorgeschlagene Methode beruht auf einer Technik der Wissenskompartimentalisierung, die Immunität gegenüber katastrophalem Vergessen sowie anderen häufigen Problemen wie Gradienteninterferenz und negativer Übertragung ermöglicht. Wir zeigen empirisch, dass die vorgeschlagene Methode gleichzeitig 69 öffentliche Aufgaben der Bildklassifikation lösen und dabei konkurrenzfähige Ergebnisse erzielen kann. So erreicht sie beispielsweise im anspruchsvollen Benchmark CIFAR10 eine relative Fehlerreduktion von 15 % gegenüber dem besten auf öffentlichen Daten trainierten Modell, was einen Fortschritt gegenüber dem aktuellen Stand der Technik darstellt.