要約
私たちはショートカット接続に線形ゲーティング機構を追加することで新しいレイヤー設計を提案します。各ゲートを制御するスカラーパラメータを使用することで、1つのパラメータのみを最適化することにより恒等写像の学習方法を提供します。この提案は、恒等写像の学習がオプティマイザにとって問題となることを軽減するためにレイヤーを再定式化するという残差ネットワーク（Residual Networks）の動機に基づいています。この拡張は各レイヤーごとに1つの追加パラメータのみを導入し、恒等写像への退化がより簡単になることで最適化を容易にします。私たちは、この拡張によって残差ネットワークを改良した新しいモデルであるゲーテッド残差ネットワーク（Gated Residual Network）を提案します。実験結果は、レイヤーの拡張が最適化の改善、性能向上、および層間独立性の増大につながることを示しています。私たちは全結合ネットワークを使用してMNISTデータセットで方法を評価し、実証的な指標として深層モデルの最適化が容易になることと、フルレイヤー削除に対する高い耐性があることを示しました：モデルは半数のレイヤーがランダムに削除された後でも90%以上の性能を維持します。さらに、私たちはCIFAR-10およびCIFAR-100データセットに対してワイドゲーテッド残差ネットワーク（Wide Gated ResNets）を使用してモデルを評価し、それぞれ3.65%および18.27%の誤識別率を達成しました。