9日前

類似および非類似のタスクが混在したシーケンスに対する継続学習

Zixuan Ke, Bing Liu, Xingchang Huang
類似および非類似のタスクが混在したシーケンスに対する継続学習
要約

連続学習における既存の研究は、タスクのシーケンスを学習する際に、災害的忘却(catastrophic forgetting)に対処することに焦点を当てており、その際、タスク同士は互いに類似性が少なく、共有知識がほとんどないと仮定されている。一方で、タスク間に類似性があり共有知識が存在する場合に、これまでに学習した知識を新たなタスクに転移する手法についてもいくつかの研究が行われている。筆者らの知る限り、類似と非類似のタスクが混合されたシーケンスを学習する手法において、忘却問題に対処しつつ、前向きかつ後向きの知識転移を両立できる技術は提案されていない。本稿では、同じネットワーク内で両タイプのタスクを学習可能な手法を提案する。非類似タスクに対しては、アルゴリズムは忘却の防止に重点を置き、類似タスクに対しては、過去の類似タスクから得た知識を選択的に転移することで、新たなタスクの学習を向上させる。さらに、アルゴリズムは新たなタスクが過去のどのタスクと類似しているかを自動的に検出する機能を備えている。混合タスクのシーケンスを用いた実証的評価により、提案手法の有効性が確認された。

類似および非類似のタスクが混在したシーケンスに対する継続学習 | 最新論文 | HyperAI超神経