サールランド大学のソフトウェア工学教授、スベン・アペル氏らの研究チームが、人間と大規模言語モデル（LLM）が難解なプログラムコードを読む際に、類似した混乱を示すことを初めて実証した。この研究は、人間の脳波とAIモデルの不確実性を比較することで、両者の認知的反応の一致を明らかにした。成果はarXivに掲載され、国際ソフトウェア工学会議（ICSE）で採択された。 研究では、アペル教授とマクス・プランク研究所のマリヤ・トネヴァ氏らが、人間とLLMが「混乱の原子（atoms of confusion）」と呼ばれる、構文的には正しいが意図を誤解しやすい短いコードパターンに対してどう反応するかを検証した。このようなコードは、経験豊富な開発者ですら誤解を招くことがある。 研究チームは、人間被験者が混乱コードとクリーンコードを読む際の脳波（EEG）と視線追跡データを収集。一方で、LLMの不確実性を「困惑度（perplexity）」という指標で測定した。その結果、人間の脳波で観測される「後方前頭陽性（late frontal positivity）」という、予期しない文末に対する認知的負荷を示す信号が、LLMの困惑度が上昇した場所と一致した。この相関は「驚くべきほど強い」と、研究を主導した博士課程学生のヨウセフ・アブデルサラム氏は述べている。 この類似性を基に、研究チームは自動で混乱領域を検出するデータ駆動型手法を開発。テストコードにおいて、既知の混乱パターンの60％以上を正しく特定し、さらに150以上もの新たな混乱パターンも発見。これらのパターンは、人間の脳波の上昇と一致していた。 アペル教授は「人間とAIの理解の一致を理解できれば、より分かりやすいコードと、強力な人間-AI協働ツールの開発が可能になる」と強調。トネヴァ氏も「神経科学、ソフトウェア工学、AIの交差点に新たな道を開いた」と語っている。この研究は、人間とAIの認知プロセスの類似性を明らかにし、次世代のAI開発支援技術の基盤を築く重要な一歩とされる。