HyperAIHyperAI

Command Palette

Search for a command to run...

神経再生によるプリューニングの柔軟性を強化したスパーストレーニング

Shiwei Liu Tianlong Chen Xiaohan Chen Zahra Atashgahi Lu Yin Huanyu Kou Li Shen Mykola Pechenizkiy Zhangyang Wang Decebal Constantin Mocanu

概要

現在、トレーニング後におけるプリューニング(反復的マグニチュードプリューニング)およびトレーニング前におけるプリューニング(初期化時におけるプリューニング)の分野で、ロトゥリーチケット仮説(LTH)およびシングルショットネットワークプリューニング(SNIP)に関する研究が注目を集めている。前者の手法は極めて高い計算コストを伴い、後者の手法は一般的に性能が十分に発揮されないという課題を抱えている。これに対し、トレーニング中にプリューニングを行う方法——いわゆる「トレーニング中プリューニング」——は、トレーニングおよび推論の効率性と比較可能な性能を両立する可能性を有しているものの、現時点ではまだ十分に探求されていない。トレーニング中プリューニングの理解を深めるために、本研究ではプリューニングの可塑性(プリューニング後のネットワークが元の性能を回復する能力)という観点から、トレーニング全体を通じたプリューニングの影響を定量的に分析した。プリューニング可塑性は、既存のニューラルネットワークプリューニングに関するいくつかの経験的事実を説明する手がかりとなる。さらに、この可塑性は、脳に着想を得た「ニューロレジェネレーション」と呼ばれるメカニズム——つまり、プリューニングされた接続と同数の接続を再生成する——を導入することで顕著に向上することを発見した。本研究では、この知見を基に、新たな徐々にマグニチュードをプリューニングする手法、すなわち「ゼロコストのニューロレジェネーションを備えた徐々なプリューニング(GraNet)」を提案し、現在の最先端技術をさらに進展させた。特に注目すべきは、GraNetのスパースからスパースへのバージョンが、ResNet-50をImageNet上で用いて、トレーニング時間を延長せずに、さまざまなデュースからスパースへの手法を上回る性能を達成した点である。本研究で開発したすべてのコードは、https://github.com/Shiweiliuiiiiiii/GraNet にて公開している。


AIでAIを構築

アイデアからローンチまで — 無料のAIコーディング支援、すぐに使える環境、最高のGPU価格でAI開発を加速。

AI コーディング補助
すぐに使える GPU
最適な料金体系

HyperAI Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています
神経再生によるプリューニングの柔軟性を強化したスパーストレーニング | 記事 | HyperAI超神経