贝叶斯优化（Bayesian Optimization, BO）的性能在很大程度上依赖于高斯过程（Gaussian Process, GP）核函数的选择，核函数在有限评估预算下起着平衡探索与利用的核心作用。传统的贝叶斯优化方法通常采用固定或基于启发式的核函数选择策略，当所选核函数与目标函数的内在结构不匹配时，可能导致收敛速度缓慢或得到次优解。为克服这一局限，本文提出一种全新的上下文感知核函数演化方法（Context-Aware Kernel Evolution, CAKE），通过引入大语言模型（Large Language Models, LLMs）来增强贝叶斯优化能力。具体而言，CAKE利用大语言模型作为交叉与变异算子，在优化过程中根据已观测数据自适应地生成并迭代优化高斯过程核函数。为进一步释放CAKE的潜力，我们进一步提出基于贝叶斯信息准则的采集核函数排序方法（BIC-Acquisition Kernel Ranking, BAKER），通过在每一轮优化中权衡模型拟合优度（以贝叶斯信息准则BIC衡量）与预期改进值，筛选出最具效能的核函数。大量实验结果表明，所提出的基于CAKE的贝叶斯优化方法在多种真实世界任务中均显著优于现有基准方法，涵盖超参数优化、控制器调优以及光子芯片设计等场景。