要約

「ディープリーズニング（深層的推論）」というアプローチは、数学など検証可能な分野において顕著な進展をもたらしたが、開放的で創造的な生成タスクへの応用は依然として重要な課題である。この分野において主流となっている2つの推論能力の付与手法、すなわち強化学習（RL）と指示蒸留（instruction distillation）は、いずれも限界に直面している。RLは明確な報酬信号や高品質な報酬モデルの欠如に悩まされ、一方、蒸留手法は計算コストが非常に高く、教師モデルの能力に制約される。こうした課題を克服するため、本研究では「REverse-Engineered Reasoning（REER）」と呼ばれる新たなアプローチを提案する。この手法は、試行錯誤や模倣によって推論プロセスを「前向きに」構築する従来のアプローチとは異なり、既知の優れた解決策から出発し、それらを生み出したと考えられる潜在的で段階的な深層的推論プロセスを計算的に逆に解明する「後向き」のアプローチを採用する。本手法はスケーラブルかつ勾配依存のない特徴を持つため、2万件のオープンエンドタスク向け深層的推論経路を含む大規模データセット「DeepWriting-20K」を構築・公開した。このデータセットを用いて学習したモデル「DeepWriter-8B」は、強力なオープンソースベースラインを上回る性能を発揮し、さらにGPT-4oやClaude 3.5といった先進的な非公開モデルと比較しても競争力を持ち、場合によってはそれらを上回る性能を達成した。