視覚的遅速思考（visual slow-thinking）推論を大規模な視覚言語モデル（LVLMs）に組み込むことは、複雑なマルチモーダルタスクを解決するために重要である。しかし、LVLMは主に視覚と言語の整合性を学習するように設計されているため、オフポリシー強化学習（RL）を用いて遅速思考能力を発展させるのは困難である。これは、その初期能力によってロールアウト空間が制限されているためである。オフポリシーRLは現在のポリシーを超える方法を提供するが、外部モデルからの軌跡を直接蒸留（distill）すると、モデル間の視覚認識能力の不一致により視覚的幻覚（visual hallucinations）が発生する可能性がある。これらの問題に対処するため、本論文ではSOPHIAを提案する。SOPHIAは、トレーニング可能なLVLMから得られるオンポリシーの視覚理解と、言語モデルから得られるオフポリシーの遅速思考推論を組み合わせて、半オフポリシーの行動モデルを構築し、推論に対して結果に基づく報酬を割り当て、視覚的報酬を逆伝播（backward propagation）する。これにより、LVLMはオフポリシーRLアルゴリズムを用いて、得られた推論軌跡から遅速思考推論能力を学習する。InternVL2.5およびInternVL3.0（8Bおよび38Bサイズ）を用いた大規模な実験により、SOPHIAの有効性が確認された。特に、SOPHIAはInternVL3.0-38Bの平均性能を8.50%向上させ、複数のマルチモーダル推論ベンチマークにおいてオープンソースのLVLMの中で最優秀の性能を達成し、さらに困難なMathVisionおよびOlympiadBenchにおいては、GPT-4.1などのクローズドソースモデルを上回る結果を示し、それぞれ49.08%および49.95%のpass@1精度を達成した。分析の結果、SOPHIAは教師ありファインチューニングや直接的なオンポリシーRL手法に優れ、さらなるオンポリシー学習のためのより良いポリシー初期化を提供する。