UPANets：ユニバーサルピクセル注目機構からの学習

画像分類分野において、スキップ接続および密接続に基づくネットワークが、多くのリーダーボードを支配してきました。近年、自然言語処理分野におけるマルチヘッドアテンションの成功により、Transformer型モデルまたはアテンションを組み込んだハイブリッドCNNの採用が不可避であることが明らかになりました。しかし、Transformer型モデルはトレーニングに膨大なリソースを要するのに対し、ハイブリッドCNNはこの分野において理想的なバランスを保っています。本研究では、CNNがグローバル情報とローカル情報を効果的に処理できるよう、チャネルワイズアテンションを導入したハイブリッドスキップ・密接続構造を備えたUPANetsを提案します。さらに、極端な接続構造（extreme-connection structure）により、UPANetsは滑らかな損失関数のランドスケープを形成し、高いロバスト性を実現しました。実験結果において、UPANetsはCifar-10で96.47％、Cifar-100で80.29％、Tiny ImageNetで67.67％の精度を達成し、多数の既存の最先端（SOTA）モデルを上回りました。特に重要な点として、これらの性能はパラメータ効率が高く、1台のカスタムGPUでのみトレーニング済みである点です。UPANetsの実装コードは、https://github.com/hanktseng131415go/UPANets にて公開しています。