Zufällige Pfadauswahl für kontinuierliches Lernen

Die inkrementelle lebenslange Lernfähigkeit stellt eine zentrale Herausforderung auf dem Weg zum langfristigen Ziel der künstlichen allgemeinen Intelligenz dar. In realen Anwendungsszenarien treten Lernaufgaben sequenziell auf, und maschinelle Lernmodelle müssen kontinuierlich lernen, um bereits erworbenes Wissen schrittweise zu erweitern. Die derzeitigen Ansätze für inkrementelles Lernen erreichen deutlich unterhalb der Leistungsfähigkeit moderner kumulativer Modelle, die alle Trainingsklassen gleichzeitig nutzen. In diesem Artikel stellen wir einen Algorithmus zur zufälligen Pfadauswahl, namens RPS-Net, vor, der schrittweise optimale Pfade für neue Aufgaben auswählt und gleichzeitig Parameter-Sharing und -Wiederverwendung fördert. Unser Ansatz vermeidet die durch rechenintensive evolutionäre und verstärkendes Lernen basierende Pfadauswahl verursachten Overheads und erreicht dennoch erhebliche Leistungsverbesserungen. Als zusätzliche Innovation integriert das vorgeschlagene Modell neben der Pfadauswahl auch Wissensdistillation und Retrospektion, um das Phänomen der katastrophalen Vergesslichkeit zu überwinden. Um ein Gleichgewicht zwischen bereits erworbenem und neu erlerntem Wissen zu gewährleisten, schlagen wir einen einfachen Controller vor, der die Modellplastizität dynamisch ausbalanciert. Durch umfangreiche Experimente zeigen wir, dass die vorgeschlagene Methode die bisher besten Ergebnisse im Bereich des inkrementellen Lernens übertrifft. Zudem ermöglicht die Nutzung paralleler Berechnungen eine konstante Laufzeit mit nahezu der gleichen Effizienz wie bei herkömmlichen tiefen konvolutionellen neuronalen Netzen.