HyperAIHyperAI

Command Palette

Search for a command to run...

学習可能なスパース性のためのソフトしきい値重み再パラメータ化

Aditya Kusupati Vivek Ramanujan Raghav Somani Mitchell Wortsman Prateek Jain Sham Kakade Ali Farhadi

概要

深層ニューラルネットワーク(DNN)におけるスパース性は、全体的なパラメータ予算を限定した条件下で予測精度を最大化することを目的として広く研究されている。従来の手法は、均一またはヒューリスティックな非均一スパース性予算に依存しており、これによりレイヤーごとのパラメータ配分が最適化されておらず、その結果、a) 予測精度の低下、または b) 推論コスト(FLOPs)の増加という問題が生じている。本研究では、DNNの重みにソフトスレッショルド演算子を新たなアプローチで適用する「ソフトスレッショルド再パラメータ化(Soft Threshold Reparameterization, STR)」を提案する。STRは学習過程においてスパース性を滑らかに誘導しつつ、同時にプリューニング閾値を学習することで、非均一なスパース性予算を獲得する。本手法は、CNN(ImageNet-1Kデータセット上のResNet50およびMobileNetV1)における非構造的スパース性において、最先端の精度を達成するとともに、実証的にFLOPsを最大50%まで削減する非均一なスパース性予算を学習可能である。特に、極めてスパースな状態(99%スパース)において、従来手法よりも最大10%の精度向上を実現しており、さらにRNNにおいて低ランク(構造的スパース性)を誘導する応用も可能である。要するに、STRは、一般的なヒューリスティックとは対照的に、効果的なスパース性予算を学習するシンプルなメカニズムである。コード、事前学習済みモデル、およびスパース性予算は、https://github.com/RAIVNLab/STR にて公開されている。


AIでAIを構築

アイデアからローンチまで — 無料のAIコーディング支援、すぐに使える環境、最高のGPU価格でAI開発を加速。

AI コーディング補助
すぐに使える GPU
最適な料金体系

HyperAI Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています