2ヶ月前

階層的注意ハイブリッドニューラルネットワークを用いた文書分類

Jader Abreu; Luis Fred; David Macêdo; Cleber Zanchettin
階層的注意ハイブリッドニューラルネットワークを用いた文書分類
要約

ドキュメント分類は重要な応用を持つ一方で、挑戦的な課題です。この問題に対する深層学習アプローチは最近注目を集めています。しかし、提案されたモデルはドキュメントの構造に関する知識を効率的にアーキテクチャに組み込んでおらず、単語や文脈の重要性も十分に考慮されていません。本論文では、畳み込みニューラルネットワーク(Convolutional Neural Networks: CNN)、ゲート付き再帰ユニット(Gated Recurrent Units: GRU)、および注意メカニズム(Attention Mechanisms)を組み合わせた新しいアプローチを提案します。本研究の主な貢献は、階層表現によってより意味のある、汎化可能な抽象的な特徴を抽出するために畳み込み層を使用することです。本論文で提案する方法は、現在の注意メカニズムに基づくドキュメント分類アプローチの結果を改善しています。

階層的注意ハイブリッドニューラルネットワークを用いた文書分類 | 最新論文 | HyperAI超神経