대형 언어 모델은 빨간 herrings에 집착한다: Only Connect Wall 데이터셋을 사용한 창의적 문제 해결과 Einstellung 효과 탐구

인간 모방 AI에 대한 탐구는 AI 연구의 시작부터 지속적인 주제였습니다. 최근 대형 언어 모델(LLM)들의 기술적 진화와 새로운 능력은 이 주제를 학계를 넘어 문화적 흐름으로 되살렸습니다. 최근의 자연어 처리(NLP) 평가 벤치마크 작업은 인간 모방 행동의 일부 측면(예: BIG-bench의 '인간 같은 행동' 작업)을 테스트하지만, 창의적 문제 해결 능력을 검증하는 것은 거의 또는 전혀 없습니다. 인간의 착상적 문제 해결은 인지 신경과학에서 잘 연구된 주제로, 주로 단서 단어들 사이의 (다양한) 연결성을 연관시키는 능력을 창의성의 지표로 사용합니다. 오도 자극 - '레드 헤링'이라고 불리는 방해물 - 은 고정 효과와 Einstellung 패러다임을 통해 인간의 성능을 저하시킵니다. 인지 신경과학 연구에서는 이러한 고정 효과를 실험적으로 유발하기 위해 참가자들에게 후속 단어 조각이나 단서와 형태적으로 유사한 잘못된 단어를 미리 노출시킵니다. 인기 있는 영국 퀴즈 프로그램 '오직 연결'의 '연결 벽' 세그먼트는 내장된 의도적인 레드 헤링을 통해 메드닉(Mednick)의 원격 연관성 테스트(RAT) 구조를 본질적으로 모방하므로, 이는 LLM에서 인지 신경과학의 고정 효과와 Einstellung 패러다임을 탐색하고 연구하기 위한 이상적인 대용 데이터셋입니다.본 논문에서는 새로운 '오직 연결 벽'(OCW) 데이터셋을 소개하고, 선택된 사전 학습 언어 모델과 LLM들이 착상적 문제 해결 작업(예: 다양한 연결성을 기준으로 단서 단어들을 그룹화하고 각 그룹에서 올바른 개방 지식 영역 연결성을 식별하는 작업)에서 수행한 결과를 보고합니다. 또한 레드 헤링 가설을 언어 모델에서 더 깊이 분석하기 위해 두 개의 추가 데이터셋(OCW-Randomized, OCW-WordNet)을 합성적으로 생성했습니다. 코드와 데이터셋 링크는 https://github.com/TaatiTeam/OCW 에서 확인할 수 있습니다.