Die Effizienz von Bayesianischer Optimierung (BO) hängt entscheidend von der Wahl des Gaussian-Process-(GP)-Kerns ab, der eine zentrale Rolle bei der Balance zwischen Exploration und Exploitation unter begrenzten Evaluationsbudgets spielt. Traditionelle BO-Verfahren setzen häufig auf feste oder heuristische Strategien zur Kernel-Auswahl, die bei einer unpassenden Wahl des Kernels zu langsamer Konvergenz oder suboptimalen Lösungen führen können. Um diese Einschränkung zu überwinden, schlagen wir einen neuartigen Ansatz namens Context-Aware Kernel Evolution (CAKE) vor, der BO mit großen Sprachmodellen (LLMs) kombiniert. Konkret nutzt CAKE LLMs als Rekombinations- und Mutationsoperatoren, um GP-Kerne adaptiv auf Basis der beobachteten Daten während des gesamten Optimierungsprozesses zu generieren und zu verfeinern. Um die volle Leistungsfähigkeit von CAKE auszuschöpfen, entwickeln wir weiterhin BIC-Acquisition Kernel Ranking (BAKER), um den effektivsten Kernel durch eine Balance zwischen der Modellanpassung, gemessen mittels Bayesian Information Criterion (BIC), und der erwarteten Verbesserung in jeder Iteration der BO auszuwählen. Umfangreiche Experimente zeigen, dass unsere neuartige CAKE-basierte BO-Methode konsistent gegenüber etablierten Baselines in einer Vielzahl realweltrelevanter Aufgaben, wie Hyperparameter-Optimierung, Reglerabstimmung und die Gestaltung photonischer Chips, übertrifft.