HyperAIHyperAI

Command Palette

Search for a command to run...

0/1 ブロック座標降下法による深層ニューラルネットワーク

Zhang Hui ; Zhou Shenglong ; Li Geoffrey Ye ; Xiu Naihua

概要

ステップ関数は、深層ニューラルネットワーク(DNN)の最も単純かつ自然な活性化関数の一つです。正の変数に対して1を、それ以外の変数に対して0を出力するため、その本質的な特性(例えば、不連続性や部分勾配の有用な情報がないこと)が、数十年にわたる発展を阻んできました。連続的な活性化関数を使用して設計されたDNNに関する印象的な研究が多数存在するにもかかわらず、ステップ関数は完全な外れ値に対する堅牢性や予測精度の最良の学習理論上の保証を得られる能力などの有利な特性を持っています。したがって、本論文では、活性化関数としてステップ関数を使用したDNN(0/1 DNNと呼ぶ)の訓練を目指します。まず、0/1 DNNを制約なし最適化問題として再定式化し、次にブロック座標降下法(BCD)で解きます。さらに、BCDのサブ問題に対する閉形式解および収束特性も得ています。また、2,0\ell_{2,0}2,0正則化を0/1 DNNに統合することで、訓練プロセスを加速し、ネットワーク規模を圧縮することも行いました。その結果、提案されたアルゴリズムはMNISTデータセットとFashion-MNISTデータセットの分類において高い性能を示しました。さらに、提案されたアルゴリズムはMNIST、Fashion-MNIST、Cifar10およびCifar100データセットの分類において望ましい性能を示しています。


AIでAIを構築

アイデアからローンチまで — 無料のAIコーディング支援、すぐに使える環境、最高のGPU価格でAI開発を加速。

AI コーディング補助
すぐに使える GPU
最適な料金体系

HyperAI Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています