30명 수학자도 고전한 AI, 그러나 '수학 이해'는 아냐

30명의 수학자들이 AI를 곤혹스럽게 했지만, 이는 AI가 '수학을 이해한다'는 것을 의미하지는 않는다는 점이 드러났다. Jasper는 이 회의의 문제점을 지적하며, 각 문제마다 구체적인 수치 답이 필요하다는 점을 강조했다. 이러한 요구는 현대 수학 연구의 핵심인 추론과 증명에 중점을 두는 대신 계산 도구로의 역할 변화를 야기했다. Jasper와 그의 팀은 초기에 몇몇 복잡한 직관과 정리를 이해하는 박사급 문제를 설계했다. 이들은 이 문제들이 현재 AI 모델의 약점이라고 믿었지만, o4-mini 모델은 이들 대부분의 문제를 성공적으로 해결했다. 그러나 이 '해결'은 여전히 논리적 연결과 추론 과정의 부족을 드러냈다. Jasper는 "AI는 중간 단계를 연계하지 못하고, 효과적으로 논리 체인을 추론하지 못한다"라고 설명했다. 이 실패는 현재 LLM의 깊은 수준의 제약을 명확히 보여주었다: 복잡한 여러 단계와 추상적 개념의 논리적 종합 및 창조성이 필요한 경우, AI는 여전히 한계가 있다. 이 회의는 또한 AI의 다른 중요한 특성을 드러냈다. Ono와 He는 o4-mini의 결과가 과도한 자신감을 나타내는 방식으로 걱정스럽다고 표현했다. "증명, 반증법, 그리고 가능 증명이 있는데, 각각의 경우가 충분한 확신을 주지 않는다"라고 He는 말했다. "나는 o4-mini가 이미 가능 증명을 이해한다고 생각하지만, 각 결과마다 과도한 자신감을 보인다." 성공적인 '어려운' AI 문제 10개를 살펴보면, 대부분 복잡한 여러 단계의 추론과 새로운 개념의 종합이 필요했음을 알 수 있다. 이는 현재 AI 시스템이 여전히 창조적 사고와 깊은 추론 능력에서 한계를 가지고 있음을 보여준다. AI는 아직 새로운 수학적 성과를 생성할 수 없지만, 관련 문헌과 초안 해법을 수집하는 데 매우 능숙하다. 인간의 감독, 특히 검증과 종합 측면에서는 여전히 필요하다. Jasper의 관점에서는 AI가 지난 2년 동안 큰 발전을 이루었지만, 현재의 LLM은 여전히 모델 맞춤에 의존하며 깊은 추론 능력에는 한계가 있다. 그러나 향후 2년 내로 AI가 수학자들의 '도우미'로 작용하여 새로운 이론을 발견하고 개방된 문제를 해결하는 데 도움을 줄 것으로 예상된다. 이는 Jasper가 DeepMind와 협력한 것처럼, AI가 인간과 협력하는 역할을 시작할 것이며, 결국 독립적으로 수학을 발전시키는 방향으로 나아갈 것이라는 전망이다. 업계 전문가들은 이 사건을 통해 AI의 현재 상태를 평가하며, AI는 이미 많은 계산 작업을 수행할 수 있는 강력한 도구임을 인정하면서도, 창조적이고 깊은 수학적 사고에는 아직 한참 멀었다는 의견을 내놓았다. Jasper와 같은 연구자들의 노력은 AI가 더욱 발전하고 인간과 더 잘 협력할 수 있도록 하는 중요한 단계가 될 것이다. Jasper는 현재 Georgia Institute of Technology의 수학 교수로, 수학적 추론과 AI의 결합에 대한 연구를 진행하고 있다. 이 회의는 AI 기술의 발전이 여전히 진행 중이며, 인간의 역할이 중요하다는 사실을 확인시켜 주었다.