
要約
畳み込みニューラルネットワーク(CNNs)は最近、自然言語処理(NLP)の重要な構成要素として注目を集めています。それらの成功にもかかわらず、NLPで使用されているほとんどの既存のCNNモデルは、すべての入力文に対して同じ学習済み(かつ静的な)フィルタセットを共有しています。本論文では、テキスト処理に文脈に敏感な畳み込みフィルタを学習するための小さなメタネットワークを使用するアプローチについて検討します。メタネットワークの役割は、文章やドキュメントの文脈情報を入力に応じたフィルタセットに抽象化することです。さらに、このフレームワークを文ペアのモデリングに一般化し、双方向フィルタ生成機構を導入して相互依存する文表現をカプセル化します。4つの異なるタスク(オントロジー分類、感情分析、回答文選択、パラフレーズ識別)におけるベンチマーク評価において、提案したモデルである文脈に敏感なフィルタを持つ改良型CNNが標準的なCNNおよび注意機構に基づくCNNベースラインを一貫して上回ることが示されました。学習された文脈に敏感なフィルタを可視化することで、提案されたフレームワークの有効性をさらに検証し説明しています。