17일 전
반복적 독립 메커니즘
Anirudh Goyal, Alex Lamb, Jordan Hoffmann, Shagun Sodhani, Sergey Levine, Yoshua Bengio, Bernhard Schölkopf

초록
환경의 동역학을 반영하는 모듈러 구조를 학습하면, 일부 기저 원인에만 영향을 미치는 변화에 대해 더 뛰어난 일반화 능력과 강건성을 달성할 수 있다. 본 연구에서는 여러 그룹의 순환 셀이 거의 독립적인 전이 동역학을 갖추고, 주로 주의 메커니즘의 병목 구조를 통해 제한적으로 상호작용하며, 해당 그룹이 가장 관련성이 높은 시점에서만 업데이트되는 새로운 순환 아키텍처인 순환 독립 기구(Recurrent Independent Mechanisms, RIMs)를 제안한다. 우리는 이러한 구조가 RIM들 사이에 특화를 유도함으로써, 학습 및 평가 과정에서 변동 인자들이 체계적으로 다를 때에도 크게 향상된 일반화 성능을 달성할 수 있음을 보여준다.