HyperAIHyperAI

Command Palette

Search for a command to run...

Bonsai-Net:微分可能プルーニングによるワンショットニューラルアーキテクチャサーチ

Rob Geada Dennis Prangle Andrew Stephen McGough

概要

ワンショットニューラルアーキテクチャサーチ(NAS)は、最先端のモデルを発見する際の計算コストを最小化することを目的としている。しかし、昨年、最先端のNASアルゴリズムが使用する同じ探索空間において、単純なランダムサーチがそれと比較して同等の性能を示すことが指摘された。この問題に対処するため、本研究ではNASの探索空間を大幅に緩和する影響を検討し、緩和された探索空間を効率的に探索できる「Bonsai-Net」という、効率的なワンショットNAS手法を提案する。Bonsai-Netは、修正された微分型プルーニング機構を基盤として構築されており、他の最先端手法よりもパラメータ数が少なく、かつランダムサーチよりも顕著に優れた最先端アーキテクチャを一貫して発見できる。さらに、Bonsai-Netはモデル探索と学習を同時に実行するため、完全に訓練されたモデルをゼロから生成するまでの総合的な所要時間を大幅に短縮できる。


AIでAIを構築

アイデアからローンチまで — 無料のAIコーディング支援、すぐに使える環境、最高のGPU価格でAI開発を加速。

AI コーディング補助
すぐに使える GPU
最適な料金体系

HyperAI Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています