ベースラインに愛を：単純な単語埋め込みモデルと関連するプーリングメカニズムについて

多くの深層学習アーキテクチャが提案され、テキストシーケンスの構成性をモデル化するために大量のパラメータと高コストの計算が必要となっています。しかし、複雑な構成関数がもたらす付加価値について厳密な評価が行われていませんでした。本論文では、パラメータを持たないプーリング操作からなる単純な単語埋め込みベースのモデル（SWEMs）と、単語埋め込みベースのRNN/CNNモデルとの間で、詳細な比較研究を行いました。驚くことに、SWEMsは考慮された大半のケースで同等またはそれ以上の性能を示しました。この理解に基づいて、学習済みの単語埋め込みに対して2つの追加的なプーリング戦略を提案します：(i) 解釈可能性を向上させるための最大値プーリング操作；(ii) テキストシーケンス内の空間的（n-gram）情報を保存する階層的プーリング操作。17のデータセットを使用して3つのタスクについて実験結果を報告します：(i) （長い）ドキュメント分類；(ii) テキストシーケンスマッチング；(iii) クラス分類やタギングを含む短いテキストタスク。ソースコードとデータセットは https://github.com/dinghanshen/SWEM から入手できます。