Samuel Schapiro Sumuk Shashidhar Alexi Gladstone Jonah Black Royce Moon Dilek Hakkani-Tur Lav R. Varshney

초록

인공지능(AI) 시스템, 특히 대규모 언어 모델(LLM)은 과학적 아이디어 생성과 같은 창의적 작업에 점점 더 널리 활용되고 있으며, 이는 기존 개념적 프레임워크로는 설명되지 않는 학습 데이터로부터의 일반화 형태를 이룬다. 비록 조합적 일반화(CG)와 많은 면에서 유사하나, 조합적 창의성(CC)은 개방형 능력이다. 고정된 기준에 대해 정확성이나 정당성을 평가하는 방식은 CC의 개방적 성격과 모순되므로, 우리는 창의성 출력을 새로운 정도와 실용성의 수준에 따라 평가할 수 있는 이론적 프레임워크와 알고리즘적 과제를 제안한다. 본 연구를 바탕으로 다음과 같은 중요한 실증적 기여를 한다: (1) LLM의 창의성에 대한 스케일링 행동에 대한 최초의 통찰을 확보하였다. (2) 고정된 계산 자원 예산 하에서 창의적 능력에 최적화된 모델의 깊이와 폭이 존재함을 발견하였다. (3) LLM이 새로운 과학적 아이디어 생성에는 뛰어나지만, 그 실행 가능성 보장에는 어려움을 겪는 '아이디어 생성-실행 간 격차'는 창의성 알고리즘 전반에 공통적으로 나타나는 보다 근본적인 '새로움-실용성 간의 트레이드오프'에 기인할 수 있음을 밝혀냈다. 특히 이 트레이드오프는 스케일이 증가하더라도 지속되며, 현재 형태의 LLM이 장기적으로 창의적 잠재력을 발휘할 수 있을지에 대한 의문을 제기한다. 종합적으로 본 연구의 개념적 프레임워크와 실증적 발견은 현대 AI 모델의 창의성 이해 및 향상에 기초를 마련하며, 일반화 능력의 새로운 전선을 열었다.