HyperAIHyperAI

Command Palette

Search for a command to run...

並列反復編集モデルによる局所的シーケンス変換

Abhijeet Awasthi Sunita Sarawagi Rasna Goyal Sabyasachi Ghosh Vihari Piratla

概要

文法誤り訂正(GEC)などのタスクに見られる局所的シーケンス変換問題に対して、並列反復編集(Parallel Iterative Edit: PIE)モデルを提案する。近年のアプローチは、シーケンスからシーケンスへの学習に広く用いられているエンコーダ・デコーダ(ED)モデルに基づいている。EDモデルは出力トークン間の完全な依存関係を自己回帰的に捉えることができるが、逐次的なデコードにより処理が遅いという課題がある。一方、PIEモデルは並列的なデコードを実現し、出力における完全な依存関係のモデル化という利点を放棄しているものの、以下の4つの理由によりEDモデルと同等の精度を達成している。1. トークンの生成ではなく、編集操作の予測を行うこと、2. シーケンスの生成ではなく、シーケンスのラベル付けを行うこと、3. 予測を反復的に精緻化することで依存関係を捉えること、4. BERTのような事前学習済み言語モデルを活用するため、編集とそのトークン引数に対するロジットを因子分解すること。GEC、OCR誤字訂正、スペル訂正といった複数のタスクにおける実験結果から、PIEモデルは局所的シーケンス変換において精度が高く、かつ著しく高速な代替手法であることが示された。


AIでAIを構築

アイデアからローンチまで — 無料のAIコーディング支援、すぐに使える環境、最高のGPU価格でAI開発を加速。

AI コーディング補助
すぐに使える GPU
最適な料金体系

HyperAI Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています