Command Palette
Search for a command to run...
Nützlich oder schädlich: Inter-Aufgaben-Assoziation im kontinuierlichen Lernen
Nützlich oder schädlich: Inter-Aufgaben-Assoziation im kontinuierlichen Lernen
Eunwoo Kim Hyundong Jin
Zusammenfassung
Beim Optimieren sequenziell einlaufender Aufgaben leiden tiefe neuronale Netze im Allgemeinen unter katastrophalem Vergessen, da sie nicht in der Lage sind, Wissen aus früheren Aufgaben zu bewahren. Dies kann zu einer erheblichen Leistungseinbuße bei bereits gelernten Aufgaben führen. Um dieses Problem zu mindern, wurden Studien zum kontinuierlichen Lernen als Gegenmaßnahme durchgeführt. Dennoch leidet dieser Ansatz unter einer Zunahme der Rechenkosten aufgrund der Erweiterung der Netzwerkgröße oder einer Veränderung des Wissens, das günstig mit früheren Aufgaben verknüpft ist. In dieser Arbeit stellen wir einen neuen Ansatz vor, bei dem mithilfe einer Modellsuche hilfreiche und schädliche Informationen für frühere Aufgaben differenziert werden, um eine effektive Lernung der aktuellen Aufgabe zu ermöglichen. Gegeben eine neue Aufgabe erkennt die vorgeschlagene Methode eine zugrundeliegende Assoziationswissensstruktur aus früheren Aufgaben, die zusätzliche Unterstützung bei der Erwerbung des Wissens der neuen Aufgabe bieten kann. Darüber hinaus ermöglicht die Einführung einer Empfindlichkeitsmaßnahme für den Verlust der aktuellen Aufgabe im Hinblick auf die assoziierten Aufgaben die Identifizierung kooperativer Beziehungen zwischen den Aufgaben, während schädliche Interferenzen gemildert werden. Wir wenden den vorgeschlagenen Ansatz sowohl in Szenarien des task-incrementalen als auch des class-incrementalen Lernens im Rahmen kontinuierlichen Lernens an und verwenden eine Vielzahl von Datensätzen unterschiedlicher Skalengröße. Experimentelle Ergebnisse zeigen, dass die vorgeschlagene Methode eine Vielzahl bestehender kontinuierlicher Lernansätze bei den Tests übertrifft und gleichzeitig das katastrophale Vergessen effektiv verringert.