HyperAIHyperAI

Command Palette

Search for a command to run...

Lernen zu Erinnern: Ein synaptische Plastizität getriebenes Framework für kontinuierliches Lernen

Oleksiy Ostapenko Mihai Puscas Tassilo Klein Patrick Jähnichen Moin Nabi

Zusammenfassung

Modelle, die im Kontext des kontinuierlichen Lernens (CL) trainiert werden, sollten in der Lage sein, aus einem Datenstrom über einen unbestimmten Zeitraum zu lernen. Die Hauptausforderungen hierbei sind: 1) das Aufrechterhalten alter Wissen, während gleichzeitig davon profitiert wird, wenn neue Aufgaben gelernt werden, und 2) die Gewährleistung der Skalierbarkeit des Modells bei einer wachsenden Menge an Lerndaten. Um diesen Herausforderungen gerecht zu werden, stellen wir Dynamic Generative Memory (DGM) vor – ein synaptische Plastizität getriebenes Framework für kontinuierliches Lernen. DGM basiert auf bedingten generativen adversären Netzen mit lernfähiger Verbindungsplastizität, die durch neuronales Maskieren realisiert wird. Insbesondere evaluieren wir zwei Varianten des neuronalen Maskierens: angewendet auf (i) Schichtaktivierungen und (ii) direkt auf Verbindungsgewichte. Darüber hinaus schlagen wir einen Mechanismus zur dynamischen Netzwerkausdehnung vor, der sicherstellt, dass das Modell genügend Kapazität hat, um ständig eintreffende Aufgaben zu bewältigen. Die Menge der hinzugefügten Kapazität wird dynamisch aus dem gelernten binären Masken bestimmt. Wir evaluieren DGM in der kontinuierlichen klasseninkrementellen Setup bei visuellen Klassifizierungsaufgaben.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
Lernen zu Erinnern: Ein synaptische Plastizität getriebenes Framework für kontinuierliches Lernen | Paper | HyperAI