Command Palette

Search for a command to run...

4ヶ月前

タスク認識表現を用いたマルチモーダル交互学習による継続的学習

{Bin-Bin Gao}

要約

持続的学習(Continual Learning)は、人工ニューラルネットワークにおいて人間の生涯にわたる学習能力を模倣するための研究分野である。近年、多くの研究が進展し、著しい性能向上が達成されているが、その多くは增量型画像認識タスクにおいて画像モダリティに依存しているにとどまっている。本論文では、視覚的および言語的モダリティ情報を効果的に活用し、より効果的な持続的学習を実現するため、新たな有効なフレームワークである「タスク意識型表現を用いたクロスモダリティ交互学習(Cross-modal Alternating Learning with Task-Aware representations, ALTA)」を提案する。ALTAは、画像とテキスト表現の同時学習を活用することで、より効果的な教師信号を提供するクロスモダリティ統合学習機構を導入する。さらに、タスク意識型表現を導入することで、記憶の消去(forgetting)を緩和し、持続的学習能力を強化する。同時に、安定性と可塑性のジレンマに着目し、タスク間の画像-テキストペアをより適切に一致させるために、タスク意識型クロスモダリティ表現を交互に学習する戦略を採用している。広範な実験を、多数の代表的な画像分類ベンチマーク上で実施した結果、本手法が最先端の性能を達成することが示された。併せて、体系的なアブレーション研究および可視化解析により、本手法の有効性と妥当性が裏付けられた。ALTAの実装コードは、URL https://github.com/vijaylee/ALTA にて公開されている。

ベンチマーク

ベンチマーク方法論指標
continual-learning-on-cifar100-10-tasksALTA-RN50
Average Accuracy: 83.87
continual-learning-on-cifar100-10-tasksALTA-ViTB/16
Average Accuracy: 92.85
continual-learning-on-cifar100-10-tasksALTA-RN101
Average Accuracy: 84.77
continual-learning-on-cifar100-10-tasksALTA-RN50x4
Average Accuracy: 84.91
continual-learning-on-tiny-imagenet-10tasksALTA-RN101
Average Accuracy: 83.35
continual-learning-on-tiny-imagenet-10tasksALTA-ViTB/16
Average Accuracy: 89.80
continual-learning-on-tiny-imagenet-10tasksALTA-RN50x4
Average Accuracy: 84.73
continual-learning-on-tiny-imagenet-10tasksALTA-RN50
Average Accuracy: 81.07

AI で AI を構築

アイデアからローンチまで — 無料の AI 共同コーディング、すぐに使える環境、最適価格の GPU で AI 開発を加速。

AI 共同コーディング
すぐに使える GPU
最適価格
今すぐ始める

Hyper Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています
タスク認識表現を用いたマルチモーダル交互学習による継続的学習 | 論文 | HyperAI超神経