HyperAIHyperAI

Command Palette

Search for a command to run...

ParZC:効率的なNASのためのパラメトリックゼロコストプロキシ

Peijie Dong Lujun Li Xinglin Pan Zimian Wei Xiang Liu Qiang Wang Xiaowen Chu

概要

最近のゼロショットニューラルアーキテクチャサーチ(NAS)の進展により、さまざまなNASベンチマークにおいてゼロコストプロキシの有効性が浮き彫りになっている。いくつかの研究では、SOTA(最先端)性能を達成するためのゼロコストプロキシの自動設計が提案されているが、これらは煩雑な探索プロセスを必要としている。さらに、現在のゼロコストプロキシに重大な問題があることを明らかにした。すなわち、ネットワーク内のすべてのノードが性能推定に同等に寄与するわけではないという事実を無視して、ノード単位のゼロコスト統計量を単純に集約している点である。我々の観察から、ノード単位のゼロコスト統計量は性能への寄与度に著しい差異を示し、各ノードには固有の不確実性が存在することが分かった。この知見に基づき、パラメータ化によりゼロコストプロキシの適応性を向上させる新しい手法、すなわちパラメトリックゼロコストプロキシ(ParZC)フレームワークを提案する。ノードの識別を無視する問題に対処するため、ノード単位のゼロコスト統計量を探索し、ノードごとの不確実性を推定するためのベイジアンネットワークを用いたミキサー構造(MABN)を提案する。さらに、KendallのTau係数を微分可能かつ直接最適化可能な損失関数としてDiffKendallを設計し、アーキテクチャのランキング差異をより適切に扱えるようにした。NAS-Bench-101、201およびNDSにおける包括的な実験により、提案するParZCが既存のゼロショットNAS手法を上回る優位性を示した。また、視覚変換器(Vision Transformer)の探索空間への適用を通じて、ParZCの汎用性と適応性の高さも実証した。


AIでAIを構築

アイデアからローンチまで — 無料のAIコーディング支援、すぐに使える環境、最高のGPU価格でAI開発を加速。

AI コーディング補助
すぐに使える GPU
最適な料金体系

HyperAI Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています
ParZC:効率的なNASのためのパラメトリックゼロコストプロキシ | 記事 | HyperAI超神経