要約
EfficientNetは、深さ、幅、解像度のすべてにおいて比例的に拡張可能な最近の深層畳み込みニューラルネットワーク（DCNN）アーキテクチャである。そのバリエーションを用いることで、ImageNet分類タスクをはじめとする多くの古典的課題において、最先端の精度を達成している。その名称は、出力（精度）と必要なリソース（パラメータ数、FLOPs）の比という観点から「効率性」を強調しているが、本研究では、元のトレーナブルパラメータ数を84％以上削減しつつ、ほぼ同等の精度を維持する手法を検討している。本提案は、1×1畳み込み（ポイントワイズ畳み込み）の改良に焦点を当てており、前層からの入力チャネル数とフィルタ数の積に伴い、パラメータ数が急速に増加する問題に着目している。基本的なアプローチとして、フィルタを並列なブランチにグループ化し、各ブランチが入力チャネルの一部を処理するようにする。しかし、この手法を採用すると、DCNNの学習能力が低下する傾向がある。これを回避するため、連続するポイントワイズ畳み込み層の途中層において、異なるブランチから出力されるフィルタの結果をインタリーブ（交互に配置）することで、情報の交換を促進する。CIFAR-10データセットを用いた実験の結果、スクラッチからの学習においても、最適化されたEfficientNetは元のアーキテクチャと同等の学習能力を示した。