課題への強力な注意を用いて catastrophic forgetting を克服する

カタストロフィックフォーリングは、ニューラルネットワークが後続のタスクで学習を行うと、以前のタスクで学んだ情報が失われる現象を指します。この問題は、順次学習機能を持つ人工知能システムにとって依然として障壁となっています。本論文では、以前のタスクの情報を損なうことなく現在のタスクの学習を維持するためのタスクベースのハードアテンションメカニズムを提案します。ハードアテンションマスクは、確率的勾配降下法を通じて各タスクと共に学習され、以前のマスクはそのような学習を条件付けするために利用されます。我々は提案されたメカニズムがカタストロフィックフォーリングを軽減するために効果的であることを示し、現在の発生率を45%から80%削減できることが確認されました。また、異なるハイパーパラメータ選択に対して堅牢性があること、そして数多くの監視機能を提供することも示しています。この手法は、学習した知識の安定性とコンパクトさを制御する可能性があり、オンライン学習やネットワーク圧縮アプリケーションにも魅力的であると考えています。