DeepMAD：Deep Convolutional Neural Network における数学的アーキテクチャ設計

視覚変換器（Vision Transformer: ViT）の急速な進展により、さまざまな視覚タスクにおける最新の性能が刷新され、従来のCNNベースのモデルがその存在感を薄れさせている。このような状況を受け、最近ではCNN分野において、適切にチューニングされた純粋なCNNモデルがViTモデルと同等の性能を達成可能であることを示す画期的な研究が数多く報告されている。この成果は前向きではあるが、こうした高性能なCNNモデルを設計するには、ネットワーク設計に関する非自明な事前知識が必要であり、実現は極めて困難である。こうした課題に対応するため、本研究では、高性能CNNモデルを体系的かつ原理的なアプローチで設計するための新規フレームワーク「深層CNNの数学的アーキテクチャ設計（DeepMAD）」を提案する。DeepMADでは、CNNネットワークを情報処理システムとしてモデル化し、その表現力と効率性を構造的パラメータによって解析的に定式化する。その後、これらの構造的パラメータを最適化するための制約付き数学的計画問題（Mathematical Programming: MP）を定式化する。このMP問題は、CPU上で既存のMPソルバーを用いて容易に解くことができ、メモリ使用量も非常に小さい。さらに、DeepMADは完全な数学的フレームワークであり、ネットワーク設計段階ではGPUや学習データを一切必要としない。DeepMADの優位性は、複数の大規模なコンピュータビジョンベンチマークデータセット上で実証された。特にImageNet-1kにおいて、従来の畳み込み層のみを用いても、TinyレベルではConvNeXtおよびSwinよりそれぞれ0.7%、1.5%高いトップ1精度を達成し、Smallレベルではそれぞれ0.8%、0.9%高い精度を実現した。