スパースかつ連続的なアテンション機構

指数型族は機械学習において広く用いられており、連続および離散領域の多くの分布を含む（例えば、ガウス分布、ディリクレ分布、ポアソン分布、およびソフトマックス変換を用いたカテゴリカル分布）。これらの族に属する分布は、すべて固定されたサポート（定義域）を持つ。一方、有限の定義域においては、最近、ソフトマックスのスパースな代替手法（例：sparsemaxやalpha-entmax）に関する研究が進んでおり、これらはサポートが変化可能であり、関係のないカテゴリに対して確率をゼロに設定できる点で特徴づけられる。本論文では、この研究を二つの方向に拡張する。第一に、alpha-entmaxを連続領域へと拡張し、Tsallis統計および変形指数型族との関連を明らかにする。第二に、連続領域における注目機構（attention mechanism）を導入し、α ∈ {1, 2} に対して効率的な勾配逆伝播アルゴリズムを導出する。1次元および2次元における注目機構の応用を、テキスト分類、機械翻訳、視覚質問応答（VQA）の実験を通じて検証した結果、時間区間やコンパクトな領域に注目することが可能であることが示された。