Samuel Lewis-Lim Xingwei Tan Zhixue Zhao Nikolaos Aletras

要約

最近の研究では、チェーン・オブ・シンキング（CoT）が分析的・常識的推論など、ソフトリーズニング問題においてしばしば限られた効果しかもたらさないことが示されている。また、CoTはモデルの実際の推論過程と一致しない場合もあり、信頼性に欠けることがある。本研究では、指示チューニング済みモデル、推論向けモデル、および推論蒸留済みモデルの3種類について、ソフトリーズニングタスクにおけるCoTの動態と信頼性を調査した。その結果、これらのモデルがCoTに依存する仕方には差が見られ、CoTの影響力と信頼性が常に一致するわけではないことが明らかになった。