Samuel Lewis-Lim Xingwei Tan Zhixue Zhao Nikolaos Aletras

Abstract

Neuere Arbeiten haben gezeigt, dass Chain-of-Thought (CoT) bei weichen Schlussfolgerungsaufgaben wie analytischer und alltäglicher (commonsense) Reasoning oft nur geringfügige Verbesserungen erzielt. Zudem kann CoT der tatsächlichen Schlussfolgerung eines Modells nicht immer treu bleiben. Wir untersuchen die Dynamik und Treue von CoT bei weichen Reasoning-Aufgaben anhand instruktionsangepasster, speziell auf Reasoning optimierter sowie durch Reasoning-Distillation verfeinerter Modelle. Unsere Ergebnisse zeigen, dass diese Modelle unterschiedlich stark auf CoT zurückgreifen, und belegen, dass die Wirkung von CoT und deren Treue nicht zwangsläufig zusammenfallen.