HyperAIHyperAI

Command Palette

Search for a command to run...

MemNAS:Grow-Trim学習を用いたメモリ効率型ニューラルアーキテクチャ探索

Mingoo Seok Huadong Ma Bo Wu Peiye Liu

概要

近年の自動ニューラルアーキテクチャ探索(Neural Architecture Search: NAS)技術に関する研究は、手動で設計されたニューラルアーキテクチャと比較して、あるいはそれ以上に優れた性能を示すことが実証されている。しかし、既存の多数の探索手法は、残差接続(residual structure)および浅層と深層特徴間の連結接続(concatenation connection)を採用しており、その結果、ネットワークパラメータおよび中間特徴マップを大量に記憶する必要があり、計算複雑性も過剰となるため、リソース制約のあるデバイス上で実行するには非効率なモデルが生成されてしまう。この課題に対処するため、本研究では、成長と削減(growing and trimming)に基づく新たなNASフレームワーク「MemNAS」を提案する。本手法は、推論ネットワークの性能だけでなく、メモリ要件の最適化も同時に実現することを目的としている。具体的には、探索プロセスにおいて、ネットワークパラメータおよび必須の中間特徴マップのメモリ使用量という実行時メモリ使用量を、性能と並行して最適化対象として取り入れる。さらに、探索精度を向上させるために、複数の候補アーキテクチャ間の相関関係を抽出し、性能とメモリ効率の両面で望ましいものをランキングして選定する。ImageNet分類タスクにおける実験結果では、MemNASは75.4%の精度を達成し、MobileNetV2と比較して0.7%高い性能を発揮しつつ、メモリ使用量を42.1%削減した。追加の実験により、精度とメモリ消費量のトレードオフにおいて異なるターゲットに応じて、MemNASが良好な性能を発揮することが確認された。


AIでAIを構築

アイデアからローンチまで — 無料のAIコーディング支援、すぐに使える環境、最高のGPU価格でAI開発を加速。

AI コーディング補助
すぐに使える GPU
最適な料金体系

HyperAI Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています
MemNAS:Grow-Trim学習を用いたメモリ効率型ニューラルアーキテクチャ探索 | 記事 | HyperAI超神経