摘要
路由模型（routing models）作为一种条件计算形式，通过在大型网络中仅激活部分组件来处理输入样本，近年来展现出良好的性能。然而，令人意外的是，现有的路由模型普遍缺乏一些关键特性，例如架构多样性以及大量路由决策的能力。架构多样性与路由深度的增加均可显著提升路由网络的表征能力。本文旨在解决上述两个不足。我们探讨了架构多样性在路由模型中的重要性，并分析了在增加路由深度时，模型容量与优化难度之间的权衡关系。实验结果表明，为路由模型引入架构多样性可显著提升性能，在Omniglot数据集上使一个强基准模型的误差率降低35%。然而，当进一步扩展路由深度时，我们发现现代路由技术在优化方面面临显著挑战。最后，本文总结了实验中的正负两方面结果，并为未来研究方向提出建议。