シンプルにこだわる、単純なアーキテクチャを用いてより深く複雑なアーキテクチャを上回る

主要なConvolutional Neural Networks（CNN）であるAlexNet、VGGNet、ResNet、GoogleNetは、数千万から数億のパラメータを含んでおり、これにより相当な計算量とメモリ負荷が課されます。これは、訓練、最適化、およびメモリ効率の面での実用的な使用を制限しています。一方で、この問題に対処するために提案された軽量アーキテクチャは、主に精度が低いという欠点があります。これらの非効率性は大部分が経験的かつ任意的手順に起因しています。私たちは一連の設計原則に基づいて単純なアーキテクチャであるSimpleNetを提案し、実証的に示しました。丁寧に設計されながらも単純で十分に深いアーキテクチャは、より深く複雑なアーキテクチャと同等の性能を発揮することができます。SimpleNetは計算量/メモリ効率と精度の間で良いバランスを提供します。私たちの単純な13層構造は、VGGNetやResNet、GoogleNetなどの多くの深く複雑なアーキテクチャよりも優れた性能を発揮し、いくつかの有名なベンチマークにおいて2倍から25倍少ないパラメータ数と演算回数を持っています。これは組み込みシステムや計算量とメモリに制約のあるシステムにとって非常に便利です。CIFAR10では最新の結果を達成し、いくつかの重いアーキテクチャを上回りました。MNISTではほぼ最新の結果を出し、CIFAR100とSVHNでも競争力のある結果を得ました。またImageNetデータセットにおいてもVGGNetやResNetsの人気変種など多くの大規模で深いアーキテクチャを上回る性能を示しました。モデルは以下のURLから入手可能です: https://github.com/Coderx7/SimpleNet