
지속적 학습에서 가장 두드러진 문제 중 하나는 치명적인 잊음(Catastrophic Forgetting, CF)이다. 매개변수 격리 기법은 각 작업에 대해 하위 네트워크를 마스킹함으로써 과거 작업 간의 간섭을 완화함으로써 이 문제를 해결하려 한다. 그러나 기존의 하위 네트워크는 가중치의 크기(magnitude)에 기반하여 구성되며, 이는 가중치의 중요성과 반드시 일치하지는 않아, 불필요한 가중치를 유지하고 중복된 하위 네트워크를 형성하게 된다. 이러한 한계를 극복하기 위해, 인접한 네트워크 레이어 간의 중복을 제거하는 정보 차단 이론(information bottleneck)에 영감을 받아, \textbf{\underline{I}nformation \underline{B}ottleneck \underline{M}asked sub-network (IBM)}을 제안한다. IBM은 하위 네트워크 내부의 중복을 제거하여, 불필요한 정보를 제거하고 핵심적인 가중치에 유용한 정보를 집약함으로써 중복 없는 하위 네트워크를 구성한다. 이는 하위 네트워크를 고정함으로써 CF를 효과적으로 완화할 뿐만 아니라, 유용한 지식의 전이를 통해 새로운 작업의 학습을 촉진한다. 또한 IBM은 은닉 표현(hidden representations)을 분해함으로써 하위 네트워크의 자동 구축 과정을 가능하게 하며, 더 유연한 구조를 제공한다. 광범위한 실험을 통해 IBM이 최신 기술을 상회함을 입증하였으며, 특히 기존 최고 수준의 매개변수 격리 기법과 비교해 하위 네트워크 내 매개변수 수를 70% 감소시키고 학습 시간을 80% 감소시키는 데 성공하였다.