연구팀, human expert 선정 로직·수학 문제 478개로 구성된 BRAINTEASERS 벤치마크 발표

최근, 미국 스탠퍼드 대학의 연구팀이 인류 전문가들이 선별한 478개의 논리와 수학 문제를 포함하는 새로운 벤치마크인 BRAINTEASERS를 구축하였습니다. 연구팀은 OpenAI o3, Gemini, DeepSeek R1 등 다양한 주요 AI 모델들을 통해 시스템 테스트를 진행하였으며, 이 과정에서 몇 가지 주요 발견을 하였습니다. 첫째, AI 모델들은 창조적인 해법을 제공할 수 있지만, 어려운 문제에 직면했을 때는 여전히 시야를 좁혀서 단순 반복적인 접근 방식으로 돌아가는 경향이 있습니다. 둘째, 힌트(hint)가 진짜로 매우 효과적임을 확인하였습니다. 특히 고난도 문제에서는 정확도가 크게 향상되었습니다. 셋째, 자연어 문제를 수학적 표현 형태로 바꾸는 것이 제한적으로만 개선되는 것으로 나타났습니다. 이는 AI 모델이 문제 의도 자체를 완전히 이해하지 못하고 있다는 것을 의미합니다. 넷째, AI 모델들은 자기 자신이 잘못된 답변을 제공하였을 때 쉽게 유도될 수 있었습니다. 예를 들어, 사람처럼 작성된 올바른 답변을 받았을 때도, "다크 프롬프트"로 인해 잘못된 것으로 인식하는 경우가 있었습니다. 이러한 현상들은 연구 과정에서 어렵게 관찰되었지만, 깊게 파고들면 명확해졌습니다. 연구팀은 "이러한 현상들은 모델의 인식 능력과 관련한 버그일 수 있지만, 인간처럼 보일 수도 있다"라고 설명하였습니다. 연구팀이 이 벤치마크를 전문가들에게 보여주자, 일부 긍정적인 피드백을 받았습니다. 예를 들어, 한 전문가는 "당신들은 단순히 흥미로운 벤치마크를 만든 것이 아니라, 실제로 모델의 '인지 내부'를 탐구했다"라고 평가하였습니다.또 다른 전문가는 "창조성과 해석 가능성, 추론 투명성을 양산하는 것은 매우 가치 있는 기여이다"라고 덧붙였습니다. 특히, 연구팀은 "false confession" 실험에서 AI 모델들의 행동이 매우 흥미롭다고 느꼈습니다. 이 실험에서, 명백하게 인간이 작성한 정답을 받았음에도 불구하고 모델은 프롬프트에 의해 "오답"으로 인식하는 경우가 있었습니다. 이는 모델이 문제의 "길이"에 따라 순서를 정렬할 때 발생하는 현상으로, 긴 문장이 "더 복잡하다"고 인식되어 "마지막에 처리"되는 것으로 보입니다. 이런 실험 결과를 통해 연구팀은 AI 연구의 새로운 패러다임을 제시하고자 합니다. 그들은 "단순히 AI가 '회답하지 않다'는 것을 보지 말고, 그 이유를 물어야 한다"라고 강조하며, "AI가 정말로 이해하고 있는지, 아니면 단지 문제를 반복하고 있는지를 알아내는 것이 중요하다"라고 설명하였습니다. 또한, "창조력, 해석 가능성, 추론의 투명성은 AI의 핵심 경로를 신뢰할 수 있도록 하는 열쇠"라고 강조하였습니다. 이 연구는 AI의 인식 능력을 더욱 깊이 이해하는 데 기여할 것입니다. 연구팀은 "우리가 만든 벤치마크는 AI의 실제 이해력과 인지 능력을 평가하는 중요한 도구가 될 것"이라고 자신했습니다. 이러한 접근 방식은 AI 모델의 성능 평가를 단순한 점수 비교에서 벗어나, 더 체계적이고 세밀한 분석을 가능하게 할 것으로 기대됩니다. 한편, 이 벤치마크는 교육 분야에서도 활용될 수 있을 것으로 보입니다. 예를 들어, 단순히 답을 제공하는 것이 아니라, 학생들이 생각 과정을 이해하도록 돕는 AI 멘토링 도구로 사용될 수 있습니다. 또한, 과학 및 공학 분야에서는 복잡한 가설 설계, 모델 구축 등과 같은 과제에서 AI의 추론 능력을 지원하는 데 도움이 될 가능성이 있습니다. 이 연구는 AI 모델의 성능을 단순히 계산 능력으로만 평가하는 것이 아니라, 구조화된 사고 능력의 중요성을 재조명하였습니다. 연구팀은 "AI의 구조화된 사고 능력을 더욱 탐구해야 한다"고 주장하며, "이는 AI의 신뢰성을 높이는 데 결정적인 역할을 할 것"이라고 강조하였습니다. 업계 전문가들은 이 연구의 결과가 AI 연구의 방향성을 재정립하는 데 큰 영향을 미칠 것으로 기대하고 있습니다. 스탠퍼드 대학의 연구팀은 이미 여러 주요 AI 모델들의 성능을 평가하는 데 있어 중요한 역할을 하고 있으며, 앞으로도 계속해서 AI의 인지 능력과 이해력에 대한 연구를 진행할 계획입니다. 이 연구는 AI 모델의 실제 이해력과 인지 능력을 더욱 깊이 탐구하는 데 중요한 기반을 마련할 것으로 보입니다.