WSNet：重みサンプリングを用いたコンパクトかつ効率的なネットワーク学習

本稿では、コンパクトかつ効率的な深層ニューラルネットワークを学習するための新しいアプローチおよび新規アーキテクチャであるWSNetを提案する。従来の手法は、モデルパラメータを独立して学習した後、モデルの削減を目的として「特定の処理」（例：モデルの剪定やフィルタの因子分解）を適用する方法が一般的である。一方、WSNetは、学習可能なパラメータのコンパクトな集合からサンプリングすることでモデルパラメータを学習するアプローチを提案する。この方法により、学習プロセス全体にわたり自然に「パラメータ共有（parameter sharing）」が強制される。本研究では、このような新規な重みサンプリングアプローチ（およびそれに基づくWSNet）が、重みと計算の両方における共有を有利に促進することを示す。この手法を用いることで、同等の畳み込みフィルタ数を持つベースラインネットワークと比較して、はるかに小さなネットワークを効率的に学習でき、競争力のある性能を達成できる。具体的には、音声分類を目的としたコンパクトかつ効率的な1次元畳み込みニューラルネットワークの学習を検討する。複数の音声分類データセットにおける広範な実験により、WSNetの有効性が実証された。重みの量子化と組み合わせることで、従来の確立されたベースラインと比較して、モデルサイズは最大で180倍小さく、理論上は最大で16倍高速化可能であり、性能の著しい低下は見られない。