17日前

機械学習応用における忘却を防止するための交渉型表現

Nuri Korhan, Ceren Öner
機械学習応用における忘却を防止するための交渉型表現
要約

catastrophic forgetting(災害的忘却)は、機械学習分野、特にニューラルネットワークにおいて顕著な課題である。ニューラルネットワークが新たなタスクに対して優れた性能を発揮するよう学習する際、過去に習得した知識や経験を失ってしまう傾向がある。この現象は、ネットワークが新しいタスクにおける損失を最小化するように重みや接続を調整する過程で、過去のタスクに不可欠な表現が意図せず上書きまたは破壊されるため生じる。その結果、従来のタスクに対するネットワークの性能が低下し、複数のタスクを順次学習し、適応する能力が制限される。本論文では、機械学習、特にニューラルネットワークにおける災害的忘却を防止するための新規手法を提案する。本手法は、複数のタスクにわたってネットワークの知識を保持しつつ、新たな情報を効果的に学習できるようにすることを目的としている。Split MNIST、Split CIFAR10、Split Fashion MNIST、Split CIFAR100といった複数のベンチマークデータセットを用いた実験を通じて、本手法の有効性を検証した。これらのデータセットは、元のデータセットを互いに重複のない別々のタスクに分割することで構成されており、モデルが過去のタスクを忘れないようにしながら、順次複数のタスクを学習する継続的学習(continual learning)のシナリオを模倣している。本手法は、学習プロセスに「協調的表現(negotiated representations)」を組み込むことで、過去の経験を保持する能力と新しいタスクへの適応能力とのバランスを維持することに取り組んでいる。これらの困難なデータセット上で本手法を評価することにより、災害的忘却の抑制におけるその潜在的効果と、継続的学習環境下におけるニューラルネットワーク性能の向上可能性を示すことを目指している。

機械学習応用における忘却を防止するための交渉型表現 | 最新論文 | HyperAI超神経