17日前

HardCoRe-NAS:ハード制約付き微分可能ニューラルアーキテクチャ探索

Niv Nayman, Yonathan Aflalo, Asaf Noy, Lihi Zelnik-Manor
HardCoRe-NAS:ハード制約付き微分可能ニューラルアーキテクチャ探索
要約

ニューラルネットワークの実用的活用には、遅延、エネルギー消費、メモリ容量など複数の制約条件を満たすことがしばしば求められる。このような制約条件下で適切なネットワークを探索するための代表的な手法として、制約付きニューラルアーキテクチャ探索(Constrained Neural Architecture Search, NAS)が広く用いられている。しかし、従来の手法は制約条件を緩やかに(ソフトに)しか適用できず、得られるネットワークは資源制約を正確に満たさず、その結果、精度が低下する問題があった。本研究では、期待されるリソース要件を正確に定式化し、探索プロセス全体で硬い(ハード)制約を厳密に満たすことができるスケーラブルな探索手法を採用することで、この問題を解決する。新しく提案する「Hard Constrained diffeRentiable NAS(HardCoRe-NAS)」は、ハード制約を厳密に満たしつつ、調整なしに最適なアーキテクチャを生成できることを実験により示した。その結果、他のNAS手法を上回る最先端の性能を達成した。