WaveMix: 画像解析のためのリソース効率的なニューラルネットワーク

我々は、コンピュータビジョン向けの新しいニューラルアーキテクチャであるWaveMixを提案します。WaveMixはリソース効率が高く、かつ汎用性とスケーラビリティに優れています。トレーニング可能なパラメータ数、GPU RAM、および計算量を削減しながら、WaveMixネットワークはいくつかのタスクにおいて最先端の畳み込みニューラルネットワーク（CNN）、ビジョントランスフォーマー、およびトークンミキサーと同等かそれ以上の精度を達成しています。この効率性は時間、コスト、エネルギーの節約につながります。これらの利点を達成するために、WaveMixブロックでは多段階の2次元離散ウェーブレット変換（2D-DWT）を使用しました。これは以下の利点があります：(1) スケール不変性、シフト不変性、エッジの疎さという3つの強力な画像事前情報に基づいて空間情報を再構成し、(2) パラメータを追加せずに損失なく行いながら、(3) 特徴マップの空間サイズを縮小することで順方向および逆方向の伝播に必要なメモリと時間を削減し、(4) 畳み込みよりも早く受容野を拡大します。全体的なアーキテクチャは自己相似で解像度を保つWaveMixブロックの積み重ねであり、さまざまなタスクやリソース状況に対応するための柔軟性を提供します。WaveMixはCityscapesでのセグメンテーションとGalaxy 10 DECals, Places-365, 5つのEMNISTデータセット, iNAT-miniでの分類において新たなベンチマークを確立しており、他のベンチマークでも競争力のある性能を示しています。当社のコードと学習済みモデルは公開されています。