要約
人工ニューラルネットワークのニューロンは、現在よりも生物学的なニューロンについて遥かに少ない知識があった時代に考案されました。本研究では、核心となるニューロンユニットを生物学的なニューロンに近づけるための改良を検討しています。この改良は、生物学的な樹状突起が単なる受動的な活性化伝達経路ではなく、細胞体への信号伝達中に複雑な非線形関数も計算するという知識に基づいています。本論文では、「穴あき（Perforated）」バックプロパゲーションと呼ばれる新しいシステムを提案し、深層ニューラルネットワークの人工ニューロンが元のアーキテクチャでコードしていた同じ特徴に対してより高性能なコーディングを実現することを目指しています。ネットワークの初期トレーニングフェーズ後、異なる目的で「樹状突起ノード（Dendrite Nodes）」がネットワークに追加され、個別にトレーニングされます。この目的は、樹状突起ノードの出力を元のニューロンの残差誤差と相関させるものです。訓練された樹状突起ノードはその後固定され、元のニューロンはさらに訓練されますが、今度は樹状突起ノードから提供される追加の誤差信号を考慮に入れて行われます。元のニューロンを訓練し、次に樹状突起ノードを追加して訓練するというサイクルは、満足できる性能が得られるまで何度も繰り返すことができます。我々のアルゴリズムは、現代最先端のPyTorchネットワークにおいて複数の領域で成功裏に導入され、元々の精度を向上させるとともに、精度低下なしに大幅なモデル圧縮を可能にすることができました。