SpinalNet: 漸進的入力を持つ深層ニューラルネットワーク

深層ニューラルネットワーク（DNN）は、多くの分野で最先端の性能を達成しています。しかし、DNNは高い計算時間を必要とし、人々はより低い計算量でさらなる性能向上を常に求めています。このため、我々はヒトの体性感覚系を研究し、少ない計算量で高い精度を達成するニューラルネットワーク（SpinalNet）の設計を行いました。従来のNNにおける隠れ層は、前の層からの入力を受け取り、活性化関数を適用した後、その結果を次の層に転送します。提案されたSpinalNetでは、各層が3つの部分に分割されます：1) 入力部分、2) 中間部分、3) 出力部分。各層の入力部分は入力の一部を受け取ります。各層の中間部分は、前の層の中間部分からの出力と現在の層の入力部分からの出力を受信します。これにより、流入する重みの数が従来のDNNよりも大幅に減少します。また、SpinalNetはDNNの全結合層や分類層としても使用でき、従来学習と転移学習の両方をサポートしています。我々はほとんどのDNNにおいて計算コストが低いにもかかわらず著しい誤差削減を観察しました。VGG-5ネットワークにSpinalNet分類層を使用して従来学習を行った場合、QMNIST, Kuzushiji-MNIST, EMNIST (Letters, Digits, and Balanced) データセットにおいて最先端（SOTA）の性能を達成しました。ImageNetで事前学習された初期重みとSpinalNet分類層を使用して従来学習を行った場合、STL-10, Fruits 360, Bird225, およびCaltech-101データセットにおいてもSOTAの性能を達成しました。提案されたSpinalNetに関するスクリプトは以下のリンクから入手可能です：https://github.com/dipuk0506/SpinalNet