17日前

線形競合ユニットを備えた確率的Transformerネットワーク:エンドツーエンドSL翻訳への応用

Andreas Voskou, Konstantinos P. Panousis, Dimitrios Kosmopoulos, Dimitris N. Metaxas, Sotirios Chatzis
線形競合ユニットを備えた確率的Transformerネットワーク:エンドツーエンドSL翻訳への応用
要約

シグナル言語翻訳(SLT)の自動化は、現実世界において極めて挑戦的な応用課題である。社会的意義の高い分野であるにもかかわらず、この分野における研究進展は依然として限定的である。特に重要な点として、現存する高性能な手法は、取得が困難なグロス(gloss)シーケンスの真値(groundtruth)の入手を必要としている。本論文では、このような依存を軽減するために、明示的なグロスの使用を不要とするエンドツーエンド型SLTモデルを提案する。このモデルは、訓練に際してグロスを用いず、テキストの真値のみを必要とする。これは、既存のエンドツーエンドモデルが、中間段階の認識モダリティとしてグロスシーケンスの真値を用いるか、あるいはSLTモデルと共同学習される並列出力プロセスとしてグロスを用いるという点と対照的である。本研究のアプローチは、以下の3つの特徴を持つTransformerネットワークに基づいている:(i)従来のReLU層の代わりに、局所的ウィナーテイクスオール(LWTA)層と確率的ウィナーサンプリングを組み合わせた新規な層構造、(ii)変分推論により推定された事後分布に基づく確率的重み、(iii)推論時に推定された事後分散を活用して、大規模かつほぼ損失のない重み圧縮を実現する技術。実験により、本手法がPHOENIX 2014Tベンチマークにおいて現在報告されている最高のBLEU-4スコアに達することを示した。さらに、モデル訓練にグロスを一切使用していないにもかかわらず、メモリ使用量は70%以上削減されていることを確認した。

線形競合ユニットを備えた確率的Transformerネットワーク:エンドツーエンドSL翻訳への応用 | 最新論文 | HyperAI超神経