HyperAIHyperAI

Command Palette

Search for a command to run...

Nützlich oder schädlich: Inter-Aufgaben-Assoziation im kontinuierlichen Lernen

Eunwoo Kim Hyundong Jin

Zusammenfassung

Beim Optimieren sequenziell einlaufender Aufgaben leiden tiefe neuronale Netze im Allgemeinen unter katastrophalem Vergessen, da sie nicht in der Lage sind, Wissen aus früheren Aufgaben zu bewahren. Dies kann zu einer erheblichen Leistungseinbuße bei bereits gelernten Aufgaben führen. Um dieses Problem zu mindern, wurden Studien zum kontinuierlichen Lernen als Gegenmaßnahme durchgeführt. Dennoch leidet dieser Ansatz unter einer Zunahme der Rechenkosten aufgrund der Erweiterung der Netzwerkgröße oder einer Veränderung des Wissens, das günstig mit früheren Aufgaben verknüpft ist. In dieser Arbeit stellen wir einen neuen Ansatz vor, bei dem mithilfe einer Modellsuche hilfreiche und schädliche Informationen für frühere Aufgaben differenziert werden, um eine effektive Lernung der aktuellen Aufgabe zu ermöglichen. Gegeben eine neue Aufgabe erkennt die vorgeschlagene Methode eine zugrundeliegende Assoziationswissensstruktur aus früheren Aufgaben, die zusätzliche Unterstützung bei der Erwerbung des Wissens der neuen Aufgabe bieten kann. Darüber hinaus ermöglicht die Einführung einer Empfindlichkeitsmaßnahme für den Verlust der aktuellen Aufgabe im Hinblick auf die assoziierten Aufgaben die Identifizierung kooperativer Beziehungen zwischen den Aufgaben, während schädliche Interferenzen gemildert werden. Wir wenden den vorgeschlagenen Ansatz sowohl in Szenarien des task-incrementalen als auch des class-incrementalen Lernens im Rahmen kontinuierlichen Lernens an und verwenden eine Vielzahl von Datensätzen unterschiedlicher Skalengröße. Experimentelle Ergebnisse zeigen, dass die vorgeschlagene Methode eine Vielzahl bestehender kontinuierlicher Lernansätze bei den Tests übertrifft und gleichzeitig das katastrophale Vergessen effektiv verringert.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp