要約
我々は監督型ハイブリッド深層ネットワークの最初の層を初期化するために、散乱ネットワークを使用しています。本研究では、初期の層が必ずしも学習する必要がないことを示しており、事前に定義された表現を使用することで現在までの最高の結果を得つつ、ディープCNNと競争力のある性能を発揮することを確認しています。1 x 1畳み込みの浅いカスケードを使用することで、非常に小さな空間ウィンドウに対応する散乱係数を符号化し、imagenet ILSVRC2012でAlexNetの精度に匹敵する結果を得ることが可能となります。この局所符号化が回転に対する不変性を明示的に学習することを示しています。現代的なResNetと散乱ネットワークを組み合わせることで、imagenet ILSVRC2012において単一クロップでのトップ5エラー率11.4%を達成しました。これはResNet-18アーキテクチャと同等であり、わずか10層のみを使用しています。さらに、ハイブリッドアーキテクチャは少量サンプル領域において優れた性能を発揮し、エンドツーエンドの対応モデルを超えることが可能です。これは幾何学的な事前知識を取り込む能力によるものであることをCIFAR-10データセットのサブセットおよびSTL-10データセットで示しています。