要約
プーリングは、多様な文章表現および埋め込みモデルの重要な構成要素です。本論文では、文章埋め込みを強化するための一般化されたプーリング手法について検討します。我々は、一般的に使用されている最大値プーリング（max pooling）、平均値プーリング（mean pooling）、スカラーセルフアテンション（scalar self-attention）を特殊ケースとして含む、ベクトルベースのマルチヘッドアテンションを提案します。このモデルは、適切に設計されたペナルティ項により、マルチヘッドアテンションにおける冗長性が削減されるという利点があります。我々は提案したモデルを3つの異なるタスクで評価しました：自然言語推論（NLI）、著者プロファイリング、感情分類です。実験結果は、提案したモデルが強力な文章エンコーディングに基づく手法に対して有意な改善を達成し、4つのデータセットで最先端の性能を示していることを示しています。提案手法は、本論文で議論する以上の問題にも容易に適用できることが期待されます。