循环独立机制

学习能够反映环境动态特性的模块化结构，有助于提升模型的泛化能力，并增强对仅影响少数底层因果因素的环境变化的鲁棒性。为此，我们提出了一种新的循环架构——循环独立机制（Recurrent Independent Mechanisms, RIMs）。在该架构中，多个循环单元组以近似独立的转移动态运行，仅通过注意力机制的瓶颈进行有限的通信，并且仅在对其最具相关性的时刻才进行更新。我们证明，这种设计促使各RIM模块产生功能专化，从而显著提升模型在训练与评估阶段某些变化因素存在系统性差异的任务上的泛化性能。