Zetong Zhou Dongping Chen Zixian Ma Zhihan Hu Mingyang Fu Sinan Wang Yao Wan Zhou Zhao Ranjay Krishna

要約

視覚的推論（Visual reasoning）は人間の知能の基盤を成すものであり、多様な視覚的問題を解決するために不可欠な複雑な知覚および論理的プロセスを包含している。コンピュータビジョン分野の進展により、さまざまな知覚タスクに適した強力なモデルが開発されてきたが、これらのモデルを一般化された視覚的推論に活用するには依然として大きな課題が残っている。従来の研究では、視覚モデルを用いて教師あり微調整（supervised fine-tuning）により大規模言語モデル（LLM）を拡張することで性能の向上が示されているが、データ生成コストの高さ、厳密なデータフィルタリングに依存する点、および一般化性能の低さといった主要な制約を抱えている。こうした課題に対処するため、本研究では強化学習（Reinforcement Learning, RL）を用いて、マルチモーダルLLMの視覚ツールに関する推論能力および利用能力を向上させる手法「ReVPT」を提案する。我々は、4種類の視覚ツールを統合的に扱う推論能力を学習できる新たなRLアルゴリズムを、GRPOに基づいて設計した。広範な実験を通じて、本手法がSAT、CV-Bench、BLINK、MMStarなど、知覚タスクに偏った複数のベンチマークにおいて最先端の性能を達成することを示した。特に、教師あり学習およびテキストベースの強化学習による微調整手法と比較して顕著な性能向上を実現した。注目すべきは、ReVPT-3BおよびReVPT-7BがCV-Benchにおいて、インストラクションモデルをそれぞれ9.03%および9.44%上回った点である。最後に、多数の消去実験（ablations）を通じて、強化学習を活用した視覚ツール利用に関する新たな知見をコミュニティに提供する。本研究のコードは、https://github.com/ls-kelvin/REVPT にて公開されている。