4日前
潜在的な推論に関する調査
Rui-Jie Zhu, Tianhao Peng, Tianhao Cheng, Xingwei Qu, Jinfa Huang, Dawei Zhu, Hao Wang, Kaiwen Xue, Xuanliang Zhang, Yong Shan, Tianle Cai, Taylor Kergan, Assel Kembay, Andrew Smith, Chenghua Lin, Binh Nguyen, Yuqi Pan, Yuhong Chou, Zefan Cai, Zhenhe Wu, Yongchi Zhao, Tianyu Liu, Jian Yang, Wangchunshu Zhou, Chujie Zheng, Chongxuan Li, Yuyin Zhou, Zhoujun Li, Zhaoxiang Zhang, Jiaheng Liu, Ge Zhang, Wenhao Huang, Jason Eshraghian
要約
大規模言語モデル（LLMs）は、特に明示的な思考連鎖（CoT）推論によって中間ステップを言語化することで、印象的な推論能力を示しています。CoTは解釈可能性と精度の両方を向上させる一方で、自然言語による推論への依存がモデルの表現帯域を制限しています。潜在推論はこのボトルネックに対処するために、完全にモデルの連続隠れ状態で多段階推論を行い、トークンレベルの監督を排除します。潜在推論研究を進めるために、本調査では新興分野である潜在推論に関する包括的な概要を提供します。まず、ニューラルネットワーク層が推論の計算基盤として果たす基礎的な役割について検討し、階層的表現が複雑な変換をサポートする仕組みを強調します。次に、活性化に基づく再帰、隠れ状態の伝播、および明示的な推論トレースを圧縮または内部化するファインチューニング戦略など、多様な潜在推論手法を探ります。最後に、マスク付き拡散モデルを通じて実現される無限深さの潜在推論などの先進的なパラダイムについて議論し、これは全体的に一貫した逆向き可能な推論プロセスを可能にします。これらの視点を統合することにより、我々は潜在推論の概念的地平線を明確にし、LLM認知の最前線における将来の研究方向性を見通すことを目指しています。最新の論文やリポジトリを集めた関連GitHubリポジトリは以下のURLで利用可能です：https://github.com/multimodal-art-projection/LatentCoT-Horizon/。