HyperAIHyperAI

Command Palette

Search for a command to run...

スパースかつ連続的なアテンション機構

André F. T. Martins António Farinhas Marcos Treviso Vlad Niculae Pedro M. Q. Aguiar Mário A. T. Figueiredo

概要

指数型族は機械学習において広く用いられており、連続および離散領域の多くの分布を含む(例えば、ガウス分布、ディリクレ分布、ポアソン分布、およびソフトマックス変換を用いたカテゴリカル分布)。これらの族に属する分布は、すべて固定されたサポート(定義域)を持つ。一方、有限の定義域においては、最近、ソフトマックスのスパースな代替手法(例:sparsemaxやalpha-entmax)に関する研究が進んでおり、これらはサポートが変化可能であり、関係のないカテゴリに対して確率をゼロに設定できる点で特徴づけられる。本論文では、この研究を二つの方向に拡張する。第一に、alpha-entmaxを連続領域へと拡張し、Tsallis統計および変形指数型族との関連を明らかにする。第二に、連続領域における注目機構(attention mechanism)を導入し、α ∈ {1, 2} に対して効率的な勾配逆伝播アルゴリズムを導出する。1次元および2次元における注目機構の応用を、テキスト分類、機械翻訳、視覚質問応答(VQA)の実験を通じて検証した結果、時間区間やコンパクトな領域に注目することが可能であることが示された。


AIでAIを構築

アイデアからローンチまで — 無料のAIコーディング支援、すぐに使える環境、最高のGPU価格でAI開発を加速。

AI コーディング補助
すぐに使える GPU
最適な料金体系

HyperAI Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています