19日前

FC層向けのProgressiveSpinalNetアーキテクチャ

Praveen Chopra
FC層向けのProgressiveSpinalNetアーキテクチャ
要約

ディープラーニングモデルにおいて、FC(完全結合層)は、前の層から学習された特徴に基づいて入力の分類を行う上で最も重要な役割を果たす。FC層はパラメータ数が最も多く、これらの大量のパラメータを微調整するには膨大な計算リソースを消費する。本論文では、このような大量のパラメータを大幅に削減しつつ、性能の向上を図ることを目的としている。この研究の動機は、SpinalNetや他の生物的構造に着想を得ている。提案するアーキテクチャは、入力層から出力層にかけて勾配ハイウェイを構築しており、深層ネットワークにおける勾配の消失問題を解決する。本アーキテクチャでは、すべての層が直前の層からの入力に加えてCNN層の出力も受信するため、すべての層が最終層に至るまでの意思決定プロセスに寄与する。このアプローチは、SpinalNetアーキテクチャに対して分類性能を向上させ、Caltech101、KMNIST、QMNIST、EMNISTなど多くのデータセットでSOTA(最先端)の性能を達成している。ソースコードは、https://github.com/praveenchopra/ProgressiveSpinalNet で公開されている。

FC層向けのProgressiveSpinalNetアーキテクチャ | 最新論文 | HyperAI超神経