HyperAIHyperAI

Command Palette

Search for a command to run...

WSNet:重みサンプリングを用いたコンパクトかつ効率的なネットワーク学習

Yingzhen Yang Xiaojie Jin Jianchao Yang Ning Xu Jiashi Feng Shuicheng Yan

概要

本稿では、コンパクトかつ効率的な深層ニューラルネットワークを学習するための新しいアプローチおよび新規アーキテクチャであるWSNetを提案する。従来の手法は、モデルパラメータを独立して学習した後、モデルの削減を目的として「特定の処理」(例:モデルの剪定やフィルタの因子分解)を適用する方法が一般的である。一方、WSNetは、学習可能なパラメータのコンパクトな集合からサンプリングすることでモデルパラメータを学習するアプローチを提案する。この方法により、学習プロセス全体にわたり自然に「パラメータ共有(parameter sharing)」が強制される。本研究では、このような新規な重みサンプリングアプローチ(およびそれに基づくWSNet)が、重みと計算の両方における共有を有利に促進することを示す。この手法を用いることで、同等の畳み込みフィルタ数を持つベースラインネットワークと比較して、はるかに小さなネットワークを効率的に学習でき、競争力のある性能を達成できる。具体的には、音声分類を目的としたコンパクトかつ効率的な1次元畳み込みニューラルネットワークの学習を検討する。複数の音声分類データセットにおける広範な実験により、WSNetの有効性が実証された。重みの量子化と組み合わせることで、従来の確立されたベースラインと比較して、モデルサイズは最大で180倍小さく、理論上は最大で16倍高速化可能であり、性能の著しい低下は見られない。


AIでAIを構築

アイデアからローンチまで — 無料のAIコーディング支援、すぐに使える環境、最高のGPU価格でAI開発を加速。

AI コーディング補助
すぐに使える GPU
最適な料金体系

HyperAI Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています