要約
深層ニューラルネットワークの実用的な制約は、特定のタスクと視覚ドメインに対する高い専門性にあります。最近では、転移学習の成功に触発され、いくつかの研究者が普遍的な固定特徴抽出器を学習することを提案しています。これらの特徴抽出器は、任意の深層ネットワークの最初の段階として使用することで、複数のタスクやドメインで同時に良好な性能を発揮します。しかし、そのような普遍的な特徴は依然として専門的なネットワークに劣る面があります。この制約を克服するために、本論文では普遍的なパラメトリックファミリーのニューラルネットワークを考えることを提案します。これらは問題固有のモデルを含みますが、わずかな数のパラメータのみが異なる点が特徴です。私たちはこのようなパラメトリゼーションの異なる設計について研究し、シリーズおよび並列残差アダプター、共同アダプター圧縮、パラメータ割り当てなどを検討しました。そして実験的に最も高い圧縮率をもたらすものを特定しました。性能最大化のために浅い層と深い層双方を適応させることが必要であることを示しましたが、必要な変更は非常に小さなものでした。さらに、これらの普遍的なパラメトリゼーションは転移学習において非常に効果的であり、従来の微調整技術を上回ることが示されました。