HyperAIHyperAI

Command Palette

Search for a command to run...

多領域深層ニューラルネットワークの効率的なパラメータ化

Sylvestre-Alvise Rebuffi; Hakan Bilen; Andrea Vedaldi

概要

深層ニューラルネットワークの実用的な制約は、特定のタスクと視覚ドメインに対する高い専門性にあります。最近では、転移学習の成功に触発され、いくつかの研究者が普遍的な固定特徴抽出器を学習することを提案しています。これらの特徴抽出器は、任意の深層ネットワークの最初の段階として使用することで、複数のタスクやドメインで同時に良好な性能を発揮します。しかし、そのような普遍的な特徴は依然として専門的なネットワークに劣る面があります。この制約を克服するために、本論文では普遍的なパラメトリックファミリーのニューラルネットワークを考えることを提案します。これらは問題固有のモデルを含みますが、わずかな数のパラメータのみが異なる点が特徴です。私たちはこのようなパラメトリゼーションの異なる設計について研究し、シリーズおよび並列残差アダプター、共同アダプター圧縮、パラメータ割り当てなどを検討しました。そして実験的に最も高い圧縮率をもたらすものを特定しました。性能最大化のために浅い層と深い層双方を適応させることが必要であることを示しましたが、必要な変更は非常に小さなものでした。さらに、これらの普遍的なパラメトリゼーションは転移学習において非常に効果的であり、従来の微調整技術を上回ることが示されました。


AIでAIを構築

アイデアからローンチまで — 無料のAIコーディング支援、すぐに使える環境、最高のGPU価格でAI開発を加速。

AI コーディング補助
すぐに使える GPU
最適な料金体系

HyperAI Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています