20日前

DeepSeek-R1 Thoughtology:LLM推論について考えよう

Marjanovi&#x107, , Sara Vera, Patel, Arkil, Adlakha, Vaibhav, Aghajohari, Milad, BehnamGhader, Parishad, Bhatia, Mehar, Khandelwal, Aditi, Kraft, Austin, Krojer, Benno, L&#xf9, , Xing Han, Meade, Nicholas, Shin, Dongchan, Kazemnejad, Amirhossein, Kamath, Gaurav, Mosbach, Marius, Sta&#x144, czak, Karolina, Reddy, Siva
DeepSeek-R1 Thoughtology:LLM推論について考えよう
要約

DeepSeek-R1をはじめとする大規模推論モデルは、LLM(大規模言語モデル)が複雑な問題に取り組む方法に根本的な転換をもたらしている。与えられた入力に対して直接答えを生成するのではなく、DeepSeek-R1は詳細な多段階推論チェーンを構築し、答えを提示する前に「思考」しているかのように振る舞う。この推論プロセスはユーザーに公開されており、モデルの推論行動を研究する無限の機会を提供するとともに、「Thoughtology(思考学)」という新たな分野の開拓を可能にしている。DeepSeek-R1の基本的な推論構成要素を分類した枠組みを出発点として、本研究では推論の長さがモデル性能に与える影響と制御可能性、長文や混乱した文脈の扱い方、文化的・安全性に関する懸念、さらには人間の認知現象(例:人間らしい言語処理や世界モデル化)との関係性について検証を行った。その結果、複雑な実態が浮き彫りとなった。特に重要な発見として、DeepSeek-R1には推論の「最適領域(スイートスポット)」が存在し、推論時間を過剰に延長するとモデルの性能が低下する傾向があることが明らかになった。また、モデルが過去に検討済みの問題定式化に継続的にとらわれ、新たな探索を阻害する傾向が見られた。さらに、非推論型の対応モデルと比較して、DeepSeek-R1には顕著なセキュリティ上の脆弱性が存在することが判明しており、これは安全志向型のLLMに対しても影響を及ぼす可能性がある。