HyperAIHyperAI

Command Palette

Search for a command to run...

Levenshtein Transformer

Jiatao Gu; Changhan Wang; Jake Zhao

概要

現代のニューラルシーケンス生成モデルは、トークンをゼロから段階的に生成するか、または固定長で制限されたトークンのシーケンスを(反復的に)修正するために設計されています。本研究では、より柔軟かつ扱いやすいシーケンス生成のために、新たな部分自己回帰モデルであるレビンシュタイントランスフォーマーを開発しました。従来の手法とは異なり、当モデルの原子操作は挿入と削除です。これらの操作の組み合わせは、生成だけでなくシーケンスの洗練も可能にし、動的な長さ変更を許容します。また、これらの操作に特化した一連の新しい訓練技術を提案しており、互いに補完的な性質により一方が他方の学習信号として効果的に利用されます。提案モデルを適用した実験では、生成タスク(例:機械翻訳、要約)と洗練タスク(例:自動後編集)において同等の性能を達成しながら大幅な効率向上が確認されました。さらに、機械翻訳によって訓練されたレビンシュタイントランスフォーマーが自動後編集に直接使用できることで当モデルの柔軟性を確認しています。


AIでAIを構築

アイデアからローンチまで — 無料のAIコーディング支援、すぐに使える環境、最高のGPU価格でAI開発を加速。

AI コーディング補助
すぐに使える GPU
最適な料金体系

HyperAI Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています
Levenshtein Transformer | 記事 | HyperAI超神経