2ヶ月前

MyGO Multiplex CoT: 大規模言語モデルにおける二重思考連鎖を用いた自己反省の手法

Shihao Ji; Zihui Song; Fucheng Zhong; Jisen Jia; Zhaobo Wu; Zheyi Cao; Tianhao Xu
MyGO Multiplex CoT: 大規模言語モデルにおける二重思考連鎖を用いた自己反省の手法
要約

最近の大規模言語モデル(LLMs)の進歩は、様々な推論や意思決定タスクにおいてその印象的な能力を示しています。しかし、推論プロセスの品質と一貫性は、より高度な内省と自己反省によってさらに向上する余地があります。本論文では、Multiplex CoT(Chain of Thought:思考連鎖)という手法を紹介します。この手法は、モデルが推論中に自己レビューの形式を模倣できるようにするために、二重の思考連鎖(CoT)思考を開始します。Multiplex CoTは反復的な推論の力を活用し、モデルが最初に思考連鎖を生成し、その後で第二ラウンドの思考生成によりこの推論を批判し洗練することを可能にします。この再帰的なアプローチにより、より一貫性があり、論理的で堅牢な回答が得られ、全体的な意思決定プロセスが改善されます。私たちは既存のLLMアーキテクチャにおいて単純なプロンプトエンジニアリングを使用してこの手法を効果的に実装する方法を示し、追加の学習なしでLearning-Refinement Model (LRM)と同様の効果を得ることができます。さらに、Google Colabでの実装ガイドも提供しており、現実世界のアプリケーションへの容易な統合を可能にしています。