1ヶ月前

学習と記憶:シナプス可塑性に基づく継続的学習フレームワーク

Oleksiy Ostapenko; Mihai Puscas; Tassilo Klein; Patrick Jähnichen; Moin Nabi
学習と記憶:シナプス可塑性に基づく継続的学習フレームワーク
要約

継続学習(Continual Learning, CL)の文脈で訓練されたモデルは、未定義の期間にわたるデータストリームから学習できるべきです。この分野における主な課題は以下の2つです:1) 新しいタスクを学習する際に古い知識を維持しつつその恩恵を受けられるようにすること、2) 学習対象となるデータ量が増加してもモデルのスケーラビリティを保証することです。これらの課題に対処するために、我々は動的生成記憶(Dynamic Generative Memory, DGM)という、シナプス可塑性に基づく継続学習のフレームワークを提案します。DGMは、ニューロン間接続の可塑性をニューラルマスキングによって実現した条件付きジェネレーティブアドバーザリアルネットワークに依存しています。特に、我々はニューラルマスキングの2つのバリエントを評価します:(i) レイヤー活性化への適用と (ii) 接続重みへの直接適用です。さらに、我々は動的なネットワーク拡張メカニズムを提案し、これにより継続的に流入するタスクに対応するための十分なモデル容量が確保されます。追加される容量の量は、学習済みのバイナリマスクから動的に決定されます。DGMは視覚分類タスクにおいてクラス増分設定での継続学習環境で評価されました。

学習と記憶:シナプス可塑性に基づく継続的学習フレームワーク | 最新論文 | HyperAI超神経