要約
疎さは、特にニューラルネットワークにおいて、幅広い応用分野での学習に有用な正則化手法である。本論文では、分類タスクを対象としたモデルを提案し、疎な活動と疎な接続性を使用して分類能力を向上させる方法について述べている。この目的を達成するための手段として、任意のベクトルに対して事前に定義された疎さを持つ最も近いベクトルを見つける疎さ制約投影演算子が導入される。本論文の理論的部分では、このような投影に関する包括的な理論が展開されている。結論として、この投影はほとんど至る所で微分可能であり、滑らかなニューロン転送関数として実装できることが示されている。したがって、全体的なモデルは勾配ベースの方法を使用してエンドツーエンドで調整することが可能である。手書き数字のMNISTデータベースにおける実験結果から、疎な活動または疎な接続性によって分類性能が向上することが確認された。両方の組み合わせを使用することで、古典的な非疎アプローチと比較して大幅に性能が向上することが示されている。