HyperAIHyperAI

Command Palette

Search for a command to run...

Ein adaptiver Ansatz zur zufälligen Pfadauswahl für inkrementelles Lernen

Jathushan Rajasegaran Munawar Hayat Salman Khan Fahad Shahbaz Khan Ling Shao Ming-Hsuan Yang

Zusammenfassung

In einem konventionellen überwachten Lernszenario hat ein maschinelles Lernmodell Zugang zu Beispielen aller Objektklassen, die während der Inferenzphase erkannt werden sollen. Dies führt zu einem festen Modell, das die Flexibilität fehlt, sich neuen Lernaufgaben anzupassen. In praktischen Szenarien treten Lernaufgaben häufig sequenziell auf und die Modelle müssen ständig lernen, um ihr bereits erworbene Wissen zu erweitern. Bestehende inkrementelle Lernalgorithmen fallen deutlich hinter den Stand der Technik von kumulativen Modellen zurück, die alle Trainingsklassen gleichzeitig verwenden. In dieser Arbeit schlagen wir einen zufälligen Pfadauswahlalgorithmus vor, den Adaptive RPS-Net (Random Path Selection Network), der fortschreitend optimale Pfade für neue Aufgaben wählt und gleichzeitig den Parameteraustausch zwischen Aufgaben fördert. Wir stellen eine neue Netzkapazitätsmessung vor, die es uns ermöglicht, automatisch Pfade zu wechseln, wenn die bereits genutzten Ressourcen gesättigt sind. Da die vorgeschlagene Pfadwiederverwendungstrategie das Vorwärtswissentransfer sicherstellt, ist unser Ansatz effizient und hat erheblich weniger Rechenoverhead. Als zusätzliche Neuerung integriert das vorgeschlagene Modell Wissensdistillierung und Rückblick in Verbindung mit der Pfadauswahlstrategie, um katastrophales Vergessen zu überwinden. Um ein Gleichgewicht zwischen dem bereits erworbenen und dem neu erworbenen Wissen aufrechtzuerhalten, schlagen wir einen einfachen Regler vor, um die Plastizität des Modells dynamisch auszugleichen. Durch umfangreiche Experimente zeigen wir, dass die Methode des Adaptive RPS-Net den aktuellen Stand der Technik bei inkrementellem Lernen übertreffen kann und durch die Nutzung paralleler Berechnungen in konstanter Zeit läuft, wobei sie fast dieselbe Effizienz wie ein herkömmliches tiefes Faltungsneuronales Netzwerk aufweist.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp