Ein adaptiver Ansatz zur zufälligen Pfadauswahl für inkrementelles Lernen

In einem konventionellen überwachten Lernszenario hat ein maschinelles Lernmodell Zugang zu Beispielen aller Objektklassen, die während der Inferenzphase erkannt werden sollen. Dies führt zu einem festen Modell, das die Flexibilität fehlt, sich neuen Lernaufgaben anzupassen. In praktischen Szenarien treten Lernaufgaben häufig sequenziell auf und die Modelle müssen ständig lernen, um ihr bereits erworbene Wissen zu erweitern. Bestehende inkrementelle Lernalgorithmen fallen deutlich hinter den Stand der Technik von kumulativen Modellen zurück, die alle Trainingsklassen gleichzeitig verwenden. In dieser Arbeit schlagen wir einen zufälligen Pfadauswahlalgorithmus vor, den Adaptive RPS-Net (Random Path Selection Network), der fortschreitend optimale Pfade für neue Aufgaben wählt und gleichzeitig den Parameteraustausch zwischen Aufgaben fördert. Wir stellen eine neue Netzkapazitätsmessung vor, die es uns ermöglicht, automatisch Pfade zu wechseln, wenn die bereits genutzten Ressourcen gesättigt sind. Da die vorgeschlagene Pfadwiederverwendungstrategie das Vorwärtswissentransfer sicherstellt, ist unser Ansatz effizient und hat erheblich weniger Rechenoverhead. Als zusätzliche Neuerung integriert das vorgeschlagene Modell Wissensdistillierung und Rückblick in Verbindung mit der Pfadauswahlstrategie, um katastrophales Vergessen zu überwinden. Um ein Gleichgewicht zwischen dem bereits erworbenen und dem neu erworbenen Wissen aufrechtzuerhalten, schlagen wir einen einfachen Regler vor, um die Plastizität des Modells dynamisch auszugleichen. Durch umfangreiche Experimente zeigen wir, dass die Methode des Adaptive RPS-Net den aktuellen Stand der Technik bei inkrementellem Lernen übertreffen kann und durch die Nutzung paralleler Berechnungen in konstanter Zeit läuft, wobei sie fast dieselbe Effizienz wie ein herkömmliches tiefes Faltungsneuronales Netzwerk aufweist.