DIANet: デンシーアンドインプリシットアテンションネットワーク

注意ネットワークは、さまざまな視覚問題の性能向上に成功してきました。従来の研究では、新しい注意モジュールを設計し、それらを個別にネットワークに組み込むことに重点が置かれていました。本論文では、異なるネットワーク層間で注意モジュールを共有する新しくシンプルなフレームワークを提案します。このパラメータ共有モジュールは、層間情報の統合を促進することを目指しており、Dense-and-Implicit-Attention (DIA) ユニットと呼ばれています。DIA ユニットには多くのモジュール選択肢があります。Long Short-Term Memory (LSTM) が長距離依存関係を捉える能力を持っているため、DIA ユニットとして変形した LSTM (DIA-LSTM と呼ぶ) の場合に焦点を当てます。ベンチマークデータセットでの実験結果から、DIA-LSTM ユニットは層間特徴量の相互関係を強調し、画像分類精度の大幅な向上につながることが示されました。さらに、全残差ネットワークにおけるスキップ接続やバッチ正規化の除去実験を通じて、DIA-LSTM が深層ネットワークの学習安定化において強い正則化能力を持つことを実証しました。コードは https://github.com/gbup-group/DIANet で公開されています。