Jamison Meindl Yunsheng Tian Tony Cui Veronika Thost Zhang-Wei Hong Jie Chen Wojciech Matusik Mina Konaković Luković

Résumé

L’optimisation globale de fonctions noires coûteuses et dépourvues de dérivées exige une efficacité extrême en échantillonnage. Les méthodes classiques, telles que l’optimisation bayésienne (BO), peuvent s’avérer efficaces, mais elles nécessitent souvent un réglage soigneux des paramètres pour chaque domaine d’application. Parallèlement, les grands modèles linguistiques (LLM) ont démontré des capacités larges, mais les modèles d’avant-garde restent limités dans la résolution de tâches d’optimisation continue à boîte noire. Nous introduisons GPTOpt, une méthode d’optimisation basée sur les LLM qui confère aux modèles linguistiques la capacité d’optimisation continue à boîte noire. En fine-tunant des grands modèles linguistiques sur de vastes jeux de données synthétiques issus de diverses paramétrisations de BO, GPTOpt exploite l’entraînement préalable des LLM pour généraliser à travers différentes tâches d’optimisation. Sur diverses benchmarks d’optimisation à boîte noire, GPTOpt surpasse les optimiseurs traditionnels, mettant en évidence le potentiel des LLM pour des raisonnements numériques avancés et introduisant un cadre souple pour l’optimisation globale sans nécessiter de réglage de paramètres.