16日前

Seq2Tens:低ランクテンソル射影によるシーケンスの効率的表現

Csaba Toth, Patric Bonnier, Harald Oberhauser
Seq2Tens:低ランクテンソル射影によるシーケンスの効率的表現
要約

時系列、動画、テキストなどの順序データは、その順序構造が複雑な依存関係を生じるため、分析が困難である場合がある。このような問題の核心には、非可換性(non-commutativity)がある。すなわち、シーケンスの要素を再順序化すると、その意味がまったく変わってしまうという現象である。このような依存関係を捉えるために、古典的な数学的構造であるテンソル代数(tensor algebra)を用いる。高次のテンソルに伴う固有の計算複雑性に対処するため、低ランクテンソル射影の合成を活用する。これにより、モジュール性とスケーラビリティに優れたニューラルネットワークの構成要素が得られ、多変量時系列分類や動画生成モデルといった標準的なベンチマークにおいて、最先端の性能を達成する。

Seq2Tens:低ランクテンソル射影によるシーケンスの効率的表現 | 最新論文 | HyperAI超神経