ベイズ最適化（BO）の効率は、限られた評価予算下で探索と活用のバランスを図る上で中心的な役割を果たすガウス過程（GP）カーネルの選択に大きく依存している。従来のBO手法は、固定またはヒューリスティックなカーネル選択戦略に依存しがちであり、選択されたカーネルが目的関数の性質に適していない場合、収束が遅くなるか、最適解に到達できないといった問題が生じる。この課題を解決するため、大規模言語モデル（LLM）を活用した新たな「文脈認識型カーネル進化（CAKE）」を提案する。具体的には、CAKEは観測データに基づき最適化プロセス全体を通じてGPカーネルを適応的に生成・改良するため、LLMを交叉（crossover）および突然変異（mutation）演算子として用いる。CAKEの性能を最大限に引き出すために、さらに「BIC採択カーネルランキング（BAKER）」を提案する。BAKERは、各反復におけるベイズ情報量基準（BIC）によるモデル適合度と期待改善量のバランスを考慮し、最も効果的なカーネルを選定する。広範な実験により、本研究で提案するCAKEを基盤とするBO手法が、ハイパーパラメータ最適化、コントローラー調整、光子集積回路設計といった多様な実世界タスクにおいて、既存のベースラインを一貫して上回ることを示した。