베이지안 최적화(Bayesian optimization, BO)의 성능은 가우시안 프로세스(Gaussian process, GP) 커널의 선택에 크게 의존하며, 이는 제한된 평가 예산 하에서 탐색(exploration)과 이용(exploitation)을 균형 있게 조절하는 데 핵심적인 역할을 한다. 기존의 BO 방법들은 일반적으로 고정된 또는 히우리스틱 기반의 커널 선택 전략에 의존하기 때문에, 선택된 커널이 목적 함수의 구조와 부적합할 경우 수렴 속도가 느려지거나 하위 최적해에 갇히는 문제가 발생할 수 있다. 이러한 한계를 극복하기 위해, 대규모 언어 모델(Large language models, LLMs)을 활용하여 BO를 향상시키는 새로운 접근인 '컨텍스트 인식형 커널 진화(Context-Aware Kernel Evolution, CAKE)'를 제안한다. 구체적으로, CAKE는 관측된 데이터를 기반으로 최적화 과정 전반에 걸쳐 GP 커널을 적응적으로 생성하고 개선하기 위해 LLM을 교차(crossover) 및 변이(mutation) 연산자로 활용한다. CAKE의 잠재력을 극대화하기 위해, 각 반복 단계에서 베이지안 정보 기준(Bayesian information criterion, BIC)으로 측정된 모델 적합도와 기대 개선도(Expected improvement) 사이의 균형을 고려하여 가장 효과적인 커널을 선별하는 BIC-획득 커널 순위 매기기(BIC-Acquisition Kernel Ranking, BAKER)를 추가로 제안한다. 광범위한 실험을 통해 제안한 CAKE 기반 BO 방법이 하이퍼파라미터 최적화, 컨트롤러 튜닝, 광학 칩 설계 등 다양한 실제 문제에서 기존의 주요 기준 방법들을 일관되게 상회함을 입증하였다.