要約
継続的学習における顕著な課題である「災害的忘却（Catastrophic Forgetting, CF）」に対処するため、パラメータ隔離（Parameter Isolation）は、各タスクごとにサブネットワークをマスクすることで、過去のタスクに対する干渉を軽減する手法として用いられている。しかしながら、このサブネットワークの構築は重みの大きさ（weight magnitude）に依存しており、重みの大きさが必ずしもその重要性と一致するわけではないため、不要な重みを保持し、冗長なサブネットワークの構築を引き起こす可能性がある。この制約を克服するため、隣接層間の冗長性を除去する情報ボトルネック（Information Bottleneck）の概念に着想を得て、本研究では情報ボトルネック・マスクされたサブネットワーク（Information Bottleneck Masked sub-network, IBM）を提案する。IBMは、有用な情報を重要な重みに集約することで、冗長性のないサブネットワークを構築する。これにより、サブネットワークを固定（freeze）することによってCFを効果的に軽減するだけでなく、価値ある知識の転移を通じて新たなタスクの学習を促進する。さらに、IBMは隠れ表現を分解する仕組みを導入することで、サブネットワークの構築プロセスを自動化し、柔軟性を向上させている。広範な実験により、IBMが最先端の手法を一貫して上回ることが示された。特に、IBMは、サブネットワーク内のパラメータ数を70％削減しつつ、学習時間を80％削減した、最先端のパラメータ隔離手法を上回る成果を達成した。