L’efficacité de l’optimisation bayésienne (BO) dépend fortement du choix du noyau de processus gaussien (GP), qui joue un rôle central dans l’équilibre entre exploration et exploitation sous un budget d’évaluation limité. Les méthodes classiques de BO s’appuient souvent sur des stratégies fixes ou heuristiques pour sélectionner le noyau, ce qui peut entraîner une convergence lente ou des solutions sous-optimales lorsque le noyau choisi est mal adapté à la fonction objectif sous-jacente. Pour surmonter cette limitation, nous proposons une nouvelle approche, le noyau évolutif conscient du contexte (CAKE), intégrant des modèles linguistiques à grande échelle (LLM) afin d’améliorer la BO. Plus précisément, CAKE utilise les LLM comme opérateurs de croisement et de mutation pour générer de manière adaptative et affiner les noyaux GP en fonction des données observées tout au long du processus d’optimisation. Pour tirer pleinement parti du potentiel de CAKE, nous introduisons également BAKER (BIC-Acquisition Kernel Ranking), une méthode de sélection du noyau le plus efficace, qui équilibre à chaque itération de la BO l’ajustement du modèle mesuré par le critère d’information bayésien (BIC) et l’amélioration attendue. Des expériences étendues montrent que notre méthode de BO basée sur CAKE surpasse de manière cohérente les méthodes de référence sur diverses tâches du monde réel, notamment l’optimisation des hyperparamètres, le réglage de contrôleurs et la conception de puces photoniques.