要約

最近の研究では、狭義のファインチューニングが広範な不一致を引き起こす可能性があることが示されており、この現象は「顕在的不一致（Emergent Misalignment, EM）」と呼ばれている。この問題は懸念されるが、これまでの報告はファインチューニングおよびアクティベーション制御に限定されており、コンテキスト内学習（In-Context Learning, ICL）については検討されていなかった。そこで我々は、EMがICLにおいても発現するかどうかを問う。その結果、EMは確かに発現することが明らかになった。3つのデータセットおよび3つの最先端モデルにおいて、64個の狭義のコンテキスト例を提示した場合、広範な不一致を示す回答の割合は2％から17％に達し、256個の例を提示した場合には最大で58％まで上昇した。さらに、コンテキスト例を変更せずに段階的推論を誘導することで、EMのメカニズムを検証した。得られた思考過程（Chain-of-Thought）の手動分析によると、不一致を示す推論のうち67.5％が、危険な「キャラクター」や無謀な態度を採用することで有害な出力を正当化しており、ファインチューニングによって引き起こされるEMに関する先行研究と一致する結果が得られた。