비용이 높고 도함수 정보를 제공하지 않는 블랙박스 함수의 전역 최적화는 극도로 높은 샘플 효율성을 요구한다. 베이지안 최적화(Bayesian Optimization, BO)와 같은 기존의 방법은 효과적일 수 있으나, 보통 각 응용 분야에 맞춰 신중한 하이퍼파라미터 조정이 필요하다. 한편, 대규모 언어 모델(Large Language Models, LLM)은 광범위한 능력을 보여주고 있으나, 최신 LLM은 여전히 연속형 블랙박스 최적화 문제를 해결하는 데 한계를 보인다. 본 연구에서는 LLM이 연속형 블랙박스 최적화 능력을 갖출 수 있도록 설계한 GPTOpt를 제안한다. 다양한 BO 하이퍼파라미터 설정에서 유도된 방대한 합성 데이터셋을 기반으로 LLM을 미세조정함으로써, GPTOpt는 LLM의 사전 학습된 지식을 활용하여 다양한 최적화 과제 간에 일반화할 수 있다. 다양한 블랙박스 최적화 벤치마크에서 GPTOpt는 기존의 최적화 기법들을 뛰어넘으며, LLM이 고도의 수치적 추론 능력을 가질 수 있음을 입증하고, 하이퍼파라미터 조정 없이도 유연하게 전역 최적화를 수행할 수 있는 프레임워크를 제시한다.