注意メカニズム 注意メカニズム

人間の注意メカニズムは直感に基づいており、人間が限られたリソースを使用して、大量の情報から価値の高い情報を迅速に選別するための手段です。ディープラーニングにおけるアテンションの仕組みは人間のアテンション思考を利用しており、自然言語処理、画像分類、音声認識などのさまざまな場面で広く利用され、目覚ましい成果を上げています。

 

エンコーダ-デコーダ フレーム

エンコーダ-デコーダ これは、深層学習において非常に一般的なモデル フレームワークです。 画像キャプション 申請中 エンコーダ-デコーダ つまり CNN-RNN エンコーディング– ニューラル ネットワーク機械翻訳モデルのデコード フレームワーク エンコーダ-デコーダ 多くの場合、それは LSTM-LSTM エンコーディング– デコードフレーム。

 

符号化手段は、入力シーケンスを固定長ベクトルに符号化することを意味し、復号化手段は、以前に生成された固定ベクトルを出力シーケンスに復号化する。

注目モデル

アテンション モデルは主にディープ ラーニングで使用されます。ディープ ラーニングは主に、自然言語理解、画像認識、音声認識の 3 つの主要な分野に分かれています。

• 自然言語理解

アテンション モデルは、自然言語理解において重要な役割を果たしています。Google は、以下に示すように、主に長い文章や段落からキーワードを抽出するためにアテンション モデルを採用しています。

• 画像認識

画像認識では、画像の分類と画像の生成にアテンション モデルが使用されます。次の図は、画像のタイトル生成の応用を示しています。

この研究では、アテンション モデルの重みを元の画像、つまり画像内の白い領域に視覚化して表示しました。画像から、フリスビーと犬はフリスビーと犬と対応関係を形成していることがわかります。文中ではそれぞれ。

• 音声認識

アテンション モデルに基づくエンコーダ デコーダ フレームワークは良好な結果を達成し、音声と単語の対応関係も確立しました。