NeuroLogic A*に類似したデコード：先読みヒューリスティクスを用いた制約付きテキスト生成

ニューラルテキスト生成の主流パラダイムは、自己回帰型言語モデルからの左から右へのデコードである。しかし、複雑な語彙制約下における制約付きまたは制御可能な生成には、将来の実現可能な経路を事前に計画するための予見性が求められる。 A探索アルゴリズムに着想を得て、本研究では将来のコストを推定するヒューリスティックを組み込んだデコード手法「NeuroLogic Aesque」を提案する。本手法は、大規模言語モデルに適した効率的な先読みヒューリスティックを構築し、従来のビームサーチやtop-kサンプリングといった一般的な手法と互換性のあるドロップイン置換として利用可能である。制約付き生成を実現するために、Luら（2021）のNeuroLogicデコードを基盤とし、論理的制約の柔軟な組み込みと将来の制約満足度に対するA*esque推定を統合した。 提案手法は5つの生成タスクにおいて競合するベースラインを上回り、テーブルからテキストへの生成、制約付き機械翻訳、キーワード制約付き生成において、新たな最良性能（SOTA）を達成した。特に、複雑な制約の満足が要求されるタスクや、少サンプル（few-shot）またはゼロショット（zero-shot）設定において、顕著な性能向上が見られた。NeuroLogic A*esqueは、デコード戦略の革新が大規模言語モデルの性能向上および新たな機能の実現に貢献しうることを示している。