HyperAIHyperAI

Command Palette

Search for a command to run...

EleAtt-RNN: Recurrent Neural Networks のニューロンに注意性を追加する

Pengfei Zhang Jianru Xue, Member, IEEE Cuiling Lan, Member, IEEE Wenjun Zeng, Fellow, IEEE Zhanning Gao Nanning Zheng, Fellow, IEEE

概要

再帰型ニューラルネットワーク(RNN)は、複雑な系列データの時間的な依存関係をモデル化する能力を持っています。一般的に、現在利用可能なRNNの構造は、現在と過去の情報の貢献度を制御することに焦点を当てています。しかし、入力ベクトル内の異なる要素が持つ異なる重要度を探索することは常に無視されています。本研究では、単純でありながら効果的な要素別注意ゲート(Element-wise-Attention Gate: EleAttG)を提案します。これはRNNブロック(例:RNN層内のすべてのRNNニューロン)に簡単に追加でき、RNNニューロンに注意能力を与えることができます。RNNブロックに対して、EleAttGは各要素/次元に異なる重要度、つまり注意を割り当てることで、入力を適応的に調節するために使用されます。このようなEleAttGを装備したRNNブロックをEleAtt-RNNブロックと呼びます。全体として入力を調節するのではなく、EleAttGは微細な粒度で、つまり要素ごとに入力を調節し、この調節はコンテンツに適応的です。提案されたEleAttGは追加的基本ユニットとして一般化されており、標準的なRNNや長短期記憶(Long Short-Term Memory: LSTM)、または門付き再帰型ユニット(Gated Recurrent Unit: GRU)などの任意のRNN構造に適用できます。提案されたEleAtt-RNNの有効性を示すために、骨格ベースデータやRGBビデオから動作認識、ジェスチャ認識、および順序MNIST分類など異なるタスクに適用しました。実験結果は、RNNブロックにEleAttGによる注意能力を追加することで、RNNの性能が大幅に向上することを示しています。


AIでAIを構築

アイデアからローンチまで — 無料のAIコーディング支援、すぐに使える環境、最高のGPU価格でAI開発を加速。

AI コーディング補助
すぐに使える GPU
最適な料金体系

HyperAI Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています