Qinglin Zhu Yizhen Yao Runcong Zhao Yanzheng Xiang Amrutha Saseendran Chen Jin Philip Alexander Teare Bin Liang Yulan He Lin Gui

要約

自己回帰（AR）モデルは自然言語生成の標準であるが、厳密な逐次デコードにより高い遅延が依然として課題となっている。近年、拡散モデルに着想を得たアプローチ（例：LlaDA、Dream）は並列生成によってこの問題を緩和しているが、2つの根本的な制約を抱えている。第一に、情報損失——各ステップで未確定のトークンに対する予測分布が破棄されるため、情報の喪失が生じる。第二に、早期確定——十分なグローバルな調整が行われないまま、局所的な決定がなされてしまう点である。本研究では、潜在空間の精緻化と予測フィードバックループを備えた二段階フレームワークである「潜在精緻化デコード（Latent Refinement Decoding, LRD）」を提案する。第一段階では、マスクされた位置を予測トークンとマスク埋め込みの分布混合として維持することで、モデルがよりグローバルに整合性のある信念を構築できるようにする。第二段階では、信頼度の高いトークンを段階的に確定しつつ、不確実なトークンは反復フィードバックのために保持する。KLダイバージェンスの動的変化は、収束判定および早期停止の原理的かつ信頼性の高い基準を提供する。コード生成（HumanEval +6.3、MBPP +2.6）および推論タスク（GSM8K +2.9、MATH500 +3.8）における実験結果から、LRDは精度の向上を実現しつつ、最大10.6倍の高速化を達成した。この結果から、LRDは並列シーケンス生成において強力かつ汎用性の高い代替手法であることが示された。