FBNetV2：空間次元およびチャネル次元向けの微分可能なニューラルアーキテクチャサーチ

微分可能なニューラルアーキテクチャ探索（Differentiable Neural Architecture Search, DNAS）は、最先端かつ効率的なニューラルネットワークの設計において大きな成功を収めてきた。しかし、DARTSを基盤とするDNASは、すべての候補となるネットワーク層をメモリ上に明示的にインスタンス化する必要があるため、他の探索手法と比較して探索空間が限定的であるという課題を抱えている。このボトルネックを解決するため、本研究ではメモリおよび計算コストに優れたDNASの変種であるDMaskingNASを提案する。本手法は、特徴マップのマスク化による再利用機構を導入することで、従来のDNASと比べて探索空間を最大で$10^{14}$倍まで拡張可能となる。これにより、従来は計算コストが膨大で実現が困難であった空間的およびチャネル次元の探索——特に入力解像度やフィルタ数の最適化——が可能になる。さらに、探索空間が拡大してもメモリおよび計算コストがほぼ一定に保たれるように、効率的な形状伝播（shape propagation）を用いて、1FLOPまたは1パラメータあたりの精度を最大化する。探索によって得られたFBNetV2は、過去のすべてのアーキテクチャと比較しても最先端の性能を達成している。探索コストを最大421倍削減しつつ、MobileNetV3-Smallより0.9%高い精度、15%少ないFLOPsを実現。また、Efficient-B0と同等の精度を維持しつつ、20%少ないFLOPsを達成している。さらに、モデルサイズと同等の条件下で、MobileNetV3よりも2.6%高い精度を達成している。FBNetV2の実装はGitHubにてオープンソース化されており、https://github.com/facebookresearch/mobile-vision から利用可能である。