연구팀, AI가 인간 행동 예측 가능하다고 주장... 과학계 반신반의

연구진은 인공지능(AI) 모델이 인간의 마음을 시뮬레이션한다고 주장하지만, 다른 과학자들은 회의적이다. 인공지능 시스템 '센타우르스(Centaur)'를 개발한 연구진은, 인간 행동에 대한 방대한 데이터 집합을 활용해 이 모델이 자연어로 기술된 모든 실험에서 "예측하고 시뮬레이션"할 수 있다고 주장한다. 이 연구 결과는 오늘자 네이처(Nature)에 발표되었다. 연구팀은 센타우루스가 인지 과학자들이 종종 시각과 기억 등의 능력을 이해하기 위해 만드는 모델들보다 더 정확하게 인간 행동을 재현할 수 있다고 보고한다. 하지만 다른 과학자들은 이 주장을 의심하고 있다. 맥길 대학교와 밀라 퀘벡 인공지능 연구소의 계산 신경과학자 블레이크 리처즈는 "이 논문을 매우 회의적으로 바라볼 것이며, 매우 혹독한 비판을 받을 것"이라고 말했다. 그와 다른 과학자들은 센타우루스가 인간의 인지 과정을 의미 있게 재현하지 못하며, 인간 행동과 일치하는 결과를 생성할 수 없다고 지적한다. ヘル름ホルツ 뮌헨의 인간 중심 AI 연구소 소속 인지과학자 마르셀 비츠는, 기존의 인지 모델들은 인간 인지의 매우 작은 부분만 포착한다고 설명한다. 하지만 최근의 대형 언어 모델(LLM)의 발전으로 "우리는 갑자기 이 새로운 흥미로운 도구 세트를 얻게 되었다"고 덧붙였다. 비츠와 동료들은 센타우루스 개발을 위해 160개의 이미 발표된 심리학 실험 데이터를 포함하는 'Psych-101'라는 데이터 집합을 만들었다. 이 데이터는 60,000명 이상의 참가자가 1,000만 건 이상의 선택을 한 내용을 담고 있다. 예를 들어, 두 개의 '두 팔을 가진 도박기계' 실험에서 참가자들은 미지 또는 변동되는 당첨 확률을 가진 두 개의 가상 슬롯 머신 사이에서 반복적으로 선택해야 했다. 연구진은 메타(Meta)가 만든 LLM인 'Llama'를 사용하여, 각 실험에서 참가자가 직면한 결정과 선택을 학습시키면서 센타우루스를 학습시켰다. 실험별로 90%의 인간 데이터를 모델 학습에 사용하고, 나머지 10%를 통해 모델의 출력이 인간 데이터와 얼마나 일치하는지를 테스트했다. 결과적으로 센타우루스는 특정 과제에 특화된 인지 모델보다 더 인간적인 행동을 재현했다. 특히 두 팔을 가진 도박기계의 결정 과정에서 센타우루스는 참가자들이 선택한 슬롯 머신 결과와 유사한 데이터를 생성했다. 센타우루스는 학습 데이터에 포함되지 않은 수정된 과제에서도 인간과 유사한 출력을 생성했다. 예를 들어, 세 번째 슬롯 머신을 추가한 두 팔을 가진 도박기계 실험에서도 인간처럼 행동했다. 비츠는 이를 통해 연구진이 센타우루스를 활용하여 실험을 "실리콘 위에서" 개발하고, 인간 참가자에게 적용하기 전에 새로운 인간 행동 이론을 개발할 수 있을 것이라고 설명했다. 그러나 브리스톨 대학교의 인지과학자 제프리 보워스는 센타우루스 모델이 "부적절하다"고 평가했다. 그와 동료들은 논문 초안이 공개되었을 때 센타우루스를 테스트했고, 결코 인간처럼 행동하지 않는다는 결과를 얻었다. 단기 기억 테스트에서는 센타우루스가 최대 256개의 숫자를 기억할 수 있었는데, 이는 일반적으로 인간이 약 7개의 숫자를 기억할 수 있다는 점과 크게 다르다. 반응 시간 테스트에서는 센타우루스가 1밀리초 이내에 응답할 수 있었는데, 이는 인간의 반응 시간보다 훨씬 빠른 '초인적' 반응 시간이다. 따라서 보워스는 센타우루스가 학습 데이터를 벗어난 일반화를 신뢰할 수 없다고 결론지었다. 맥스 플랑크 사회의 어니스트 스트룽만 연구소 소속 계산 인지과학자 페데리코 아돌피는 이 모델이 "매우 쉽게 깨질 것"이라는 점을 강조하면서, Psych-101 데이터 집합이 방대하긴 하지만 160개의 실험은 "무한한 인지의 바다에서 모래알에 불과하다"고 지적했다. 하지만 일부 과학자들은 이 논문의 가치를 인정한다. 일리노이 대학교 어바나-섐페인 캠퍼스의 시각 과학자 레이첼 히튼은 센타우루스 모델이 인간 인지를 이해하는 데 유용한 도구는 아니지만, Psych-101 데이터 집합 자체가 다른 연구자들에게 모델 성공 여부를 테스트할 수 있는 유용한 자원이라고 평가했다. 리처즈는 센타우루스의 내부 메커니즘을 이해하기 위한 미래 연구도 가치가 있다고 생각한다. 많은 계산 신경과학자들은 센타우루스와 같은 새로운 도구에 대해 "신중히 긍정적"이다. 오클랜드 대학교의 계산 시각 신경과학자 캐서린 스토스는, 논문이 몇 가지 근거 없는 광범위한 주장을 하고 있지만, 데이터 집합과 모델 개발에 많은 시간과 노력이 들었으며, "장기적으로 과학적으로 성과를 거둘 가능성이 있다"고 덧붙였다.