HyperAIHyperAI

Command Palette

Search for a command to run...

Model Zoo: Ein wachsender „Gehirn“, das kontinuierlich lernt

Rahul Ramesh Pratik Chaudhari

Zusammenfassung

In diesem Paper wird argumentiert, dass kontinuierliche Lernmethoden davon profitieren können, die Kapazität des Lerners über mehrere Modelle zu verteilen. Anhand der statistischen Lerntheorie und experimenteller Analyse zeigen wir, wie mehrere Aufgaben sich bei der gemeinsamen Trainierung an einem einzelnen Modell auf nichttriviale Weise beeinflussen können. Die Generalisierungsfehler einer bestimmten Aufgabe können sich verbessern, wenn sie gemeinsam mit synergistischen Aufgaben trainiert wird, können sich aber auch verschlechtern, wenn sie mit konkurrierenden Aufgaben trainiert wird. Diese Theorie motiviert unsere Methode namens Model Zoo, die sich an der Boosting-Literatur orientiert und ein Ensemble kleiner Modelle aufbaut, wobei jedes Modell während einer einzelnen Episode des kontinuierlichen Lernens trainiert wird. Wir demonstrieren, dass Model Zoo erhebliche Gewinne an Genauigkeit bei einer Vielzahl von Benchmark-Aufgaben im Bereich des kontinuierlichen Lernens erzielt. Der Quellcode ist unter https://github.com/grasp-lyrl/modelzoo_continual verfügbar.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp