Kreuzmodale alternierende Lernverfahren mit auf Aufgaben bezogenen Darstellungen für kontinuierliches Lernen
{Bin-Bin Gao}
Abstract
Kontinuierliches Lernen ist ein Forschungsfeld künstlicher neuronaler Netze, das darauf abzielt, die Fähigkeit des lebenslangen Lernens beim Menschen zu simulieren. Obwohl eine Vielzahl von Studien erhebliche Fortschritte erzielt hat, basieren die meisten Ansätze bisher ausschließlich auf der Bildmodality für inkrementelle Bilderkennungsaufgaben. In diesem Artikel stellen wir einen neuartigen und effektiven Rahmenwerk vor, den wir cross-modal Alternating Learning with Task-Aware representations (ALTA) nennen, um visuelle und sprachliche Modality-Informationen effizient zu nutzen und ein effektiveres kontinuierliches Lernen zu ermöglichen. Dazu implementiert ALTA eine cross-modale gemeinsame Lernmechanik, die das gleichzeitige Lernen von Bild- und Textrepräsentationen nutzt, um eine präzisere Supervision zu gewährleisten. Zudem wird das Vergessen durch die Ausstattung von task-aware Repräsentationen mit der Fähigkeit zum kontinuierlichen Lernen gemildert. Gleichzeitig berücksichtigt ALTA die klassische Dialektik zwischen Stabilität und Plastizität durch eine cross-modale alternierende Lernstrategie, bei der die task-aware cross-modalen Repräsentationen abwechselnd gelernt werden, um die Paarung von Bild- und Textinformationen zwischen Aufgaben besser zu erfassen und somit die Fähigkeit zum kontinuierlichen Lernen weiter zu stärken. Wir führen umfangreiche Experimente an verschiedenen etablierten Benchmark-Datensätzen für Bildklassifikation durch und zeigen, dass unser Ansatz state-of-the-art-Leistung erzielt. Gleichzeitig bestätigen systematische Ablationsstudien und Visualisierungsanalysen die Wirksamkeit und Plausibilität unserer Methode. Der Quellcode für ALTA ist unter url{https://github.com/vijaylee/ALTA} verfügbar.
Benchmarks
| Benchmark | Methodik | Metriken |
|---|---|---|
| continual-learning-on-cifar100-10-tasks | ALTA-RN50 | Average Accuracy: 83.87 |
| continual-learning-on-cifar100-10-tasks | ALTA-ViTB/16 | Average Accuracy: 92.85 |
| continual-learning-on-cifar100-10-tasks | ALTA-RN101 | Average Accuracy: 84.77 |
| continual-learning-on-cifar100-10-tasks | ALTA-RN50x4 | Average Accuracy: 84.91 |
| continual-learning-on-tiny-imagenet-10tasks | ALTA-RN101 | Average Accuracy: 83.35 |
| continual-learning-on-tiny-imagenet-10tasks | ALTA-ViTB/16 | Average Accuracy: 89.80 |
| continual-learning-on-tiny-imagenet-10tasks | ALTA-RN50x4 | Average Accuracy: 84.73 |
| continual-learning-on-tiny-imagenet-10tasks | ALTA-RN50 | Average Accuracy: 81.07 |
KI mit KI entwickeln
Von der Idee bis zum Start — beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und den besten GPU-Preisen.