연구: 다중 모달 대화형 AI, 인간 두뇌와 유사한 방식으로 객체 표현

연구: 인간 뇌와 다중 모드 대형 언어 모델(LMM)이 객체 표현 방식 유사 인간 뇌가 자연에 존재하는 물체를 어떻게 표현하는지 더 잘 이해하면 심리학, 신경과학, 컴퓨터 과학 등 다양한 분야의 연구에 흥미로운 영향을 미칠 수 있다. 특히, 이는 사람들이 감각 정보를 해석하고 다양한 실제 세계 작업을 수행하는 방식에 대해 새로운 통찰력을 제공할 수 있으며, 이를 통해 생물학적 및 정신적 과정을 밀접하게 모방하는 인공 지능(AI) 기술의 개발에도 도움이 될 것이다. 최근 중국 과학 아카데미 연구진은 다중 모드 대형 언어 모델(LMM)이 객체를 표현하는 방식과 인간의 객체 표현 방식이 얼마나 유사한지를 연구했다. 그들의 결과는 '네이처 머신 인텔리전스' 저널에 발표되었다. "인간이 자연 물체를 개념화하고 범주화하는 방식을 이해하면 지각과 인지에 대한 중요한 통찰력을 얻을 수 있습니다," 연구팀인 Changde Du, Kaicheng Fu와 동료들은 논문에서 말했다. "대형 언어 모델(LLM)의 등장으로 이러한 모델이 언어와 다중 모드 데이터에서 인간처럼 객체 표현을 발전시킬 수 있는지가 중요한 질문입니다. 우리는 행동과 신경 영상 분석을 결합하여 LMM의 객체 개념 표현과 인간 인지 사이의 관계를 탐구했습니다." 연구팀은 OpenAI의 대화형 플랫폼 ChatGPT-3.5와 Google DeepMind에서 개발한 다중 모드 LLM인 GeminiPro Vision 1.0에서 나타나는 객체 표현을 구체적으로 조사했다. 이 모델들에게는 '삼트리plets'이라는 단순한 태스크를 수행하도록 요청했다. 각 태스크에서는 세 가지 객체가 제시되었고, 모델들은 서로 가장 비슷한 두 객체를 선택해야 했다. "우리는 LMM과 다중 모드 LMM으로부터 470만 개의 삼트립릿 판단을 수집하여 1,854개의 자연 객체 간의 유사성 구조를 포착하는 66차원 임베딩을 도출했습니다," 연구팀은 설명했다. "이 임베딩은 안정적이면서 예측 가능하며, 인간의 정신 표현과 유사한 의미적 클러스터링을 보였습니다. 특히, 이러한 임베딩을 구성하는 차원들이 해석 가능하다는 점이 놀라웠으며, 이는 LMM과 다중 모드 LMM이 인간처럼 객체의 개념적 표현을 발전시킨다는 것을 시사합니다." 수집된 대규모 삼트립릿 판단 데이터셋을 바탕으로 연구팀은 저차원 임베딩을 계산했다. 이 임베딩은 다양한 차원에서 객체 간의 유사성을 수학적으로 표현하며, 비슷한 객체들을 추상적인 공간에서 가깝게 배치한다. 특히, 연구팀은 저차원 임베딩이 의미 있는 범주, 예를 들어 '동물', '식물' 등으로 객체를 일관되게 그룹화한다는 것을 발견했다. 이를 통해 LMM과 다중 모드 LLM이 인간의 마음에서 객체가 표현되고 범주화되는 방식과 유사하게 자연스럽게 객체를 조직한다는 결론을 내렸다. "추가 분석을 통해 LMM 임베딩과 뇌 부위, 예를 들어 청진 외부 몸통 영역, 부마방포피탈 장소 영역, 후척골 피질, 그리고 융형 얼굴 영역에서의 뉴럴 활동 패턴 사이에 강한 일치성이 있다는 것을 확인했습니다," 연구팀은 덧붙였다. "이는 LMM의 객체 표현이 인간의 것과 동일하지 않더라도, 인간의 개념적 지식을 반영하는 핵심 측면을 공유한다는 강력한 증거를 제공합니다." Du, Fu, 그리고 동료들의 연구 결과는 대량의 데이터로 훈련된 LMM과 다중 모드 LMM에서 인간 같은 자연 객체 표현이 본질적으로 나타날 수 있음을 시사한다. 향후 이 연구는 LMM이 객체를 어떻게 표현하는지 탐구하는 다른 연구팀에게 영감을 줄 수 있으며, 뇌를 모방한 AI 시스템의 발전에 기여할 가능성이 있다. 이 연구는 AI 기술이 인간의 인지 과정을 어떻게 모방하는지에 대한 이해를 깊이 있게 하는 중요한 단초를 제공한다. 또한, 이 연구 결과는 AI와 인간 뇌 사이의 유사성을 과학적으로 입증하는 데 있어 중요한 역할을 할 것으로 기대된다. (연구 참여자 및 기관 소개: Changde Du, Kaicheng Fu는 중국 과학 아카데미 소속 연구원으로, 이 연구를 통해 AI와 인간 인지 과정의 유사성을 탐구하는 데 주도적인 역할을 했다. 이 연구는 독립적인 과학 저널리즘을 유지하기 위해 필요한 꼼꼼한 작업의 결과이다. 이 기사는 Ingrid Fadelli가 작성했으며, Lisa Lock가 편집하고 Robert Egan이 사실 확인 및 검토를 수행했다.)