HyperAIHyperAI

Command Palette

Search for a command to run...

Ein evolutionärer Ansatz zur dynamischen Einführung von Aufgaben in großskaligen Multitask-Lernsystemen

Andrea Gesmundo Jeff Dean

Zusammenfassung

Multitask-Lernen geht davon aus, dass Modelle, die aus mehreren Aufgaben lernen können, durch Wissensübertragung eine höhere Qualität und Effizienz erzielen – ein zentrales Merkmal menschlichen Lernens. Obwohl state-of-the-art-Maschinenlernmodelle derzeit für jede Aufgabe stark angepasst werden und statt der Skalierung der Anzahl von Aufgaben vor allem Größe und Datenskalierung ausnutzen, wird kontinuierliches Lernen – das die zeitliche Dimension im Multitask-Lernen einbezieht – oft nur auf typische Fehlerquellen wie katastrophales Vergessen untersucht, anstatt als zentrales Bauteil für die Entwicklung der nächsten Generation künstlicher Intelligenz in großem Maßstab erforscht zu werden. Wir stellen eine evolutionäre Methode vor, die in der Lage ist, große Skalen von Multitask-Modellen zu generieren, die die dynamische Hinzufügung neuer Aufgaben unterstützen. Die generierten Multitask-Modelle werden sparsam aktiviert und integrieren eine auf Aufgaben basierende Routing-Strategie, die eine begrenzte Berechnungskosten und wenige zusätzliche Parameter pro Aufgabe gewährleistet, selbst wenn das Modell erweitert wird. Die vorgeschlagene Methode beruht auf einer Technik der Wissenskompartimentalisierung, die Immunität gegenüber katastrophalem Vergessen sowie anderen häufigen Problemen wie Gradienteninterferenz und negativer Übertragung ermöglicht. Wir zeigen empirisch, dass die vorgeschlagene Methode gleichzeitig 69 öffentliche Aufgaben der Bildklassifikation lösen und dabei konkurrenzfähige Ergebnisse erzielen kann. So erreicht sie beispielsweise im anspruchsvollen Benchmark CIFAR10 eine relative Fehlerreduktion von 15 % gegenüber dem besten auf öffentlichen Daten trainierten Modell, was einen Fortschritt gegenüber dem aktuellen Stand der Technik darstellt.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp