0/1 ブロック座標降下法による深層ニューラルネットワーク

ステップ関数は、深層ニューラルネットワーク（DNN）の最も単純かつ自然な活性化関数の一つです。正の変数に対して1を、それ以外の変数に対して0を出力するため、その本質的な特性（例えば、不連続性や部分勾配の有用な情報がないこと）が、数十年にわたる発展を阻んできました。連続的な活性化関数を使用して設計されたDNNに関する印象的な研究が多数存在するにもかかわらず、ステップ関数は完全な外れ値に対する堅牢性や予測精度の最良の学習理論上の保証を得られる能力などの有利な特性を持っています。したがって、本論文では、活性化関数としてステップ関数を使用したDNN（0/1 DNNと呼ぶ）の訓練を目指します。まず、0/1 DNNを制約なし最適化問題として再定式化し、次にブロック座標降下法（BCD）で解きます。さらに、BCDのサブ問題に対する閉形式解および収束特性も得ています。また、$\ell_{2,0}$正則化を0/1 DNNに統合することで、訓練プロセスを加速し、ネットワーク規模を圧縮することも行いました。その結果、提案されたアルゴリズムはMNISTデータセットとFashion-MNISTデータセットの分類において高い性能を示しました。さらに、提案されたアルゴリズムはMNIST、Fashion-MNIST、Cifar10およびCifar100データセットの分類において望ましい性能を示しています。