Jamison Meindl Yunsheng Tian Tony Cui Veronika Thost Zhang-Wei Hong Jie Chen Wojciech Matusik Mina Konaković Luković

Abstract

Die globale Optimierung kostenintensiver, ableitungsfreier Black-Box-Funktionen erfordert eine extrem hohe Stichproben-Effizienz. Klassische Verfahren wie die Bayessche Optimierung (BO) können wirksam sein, erfordern jedoch oft eine sorgfältige Parameteranpassung an den jeweiligen Anwendungsbereich. Gleichzeitig haben große Sprachmodelle (LLMs) ein breites Anwendungsspektrum demonstriert, doch die derzeit fortschrittlichsten Modelle bleiben bei der Lösung kontinuierlicher Black-Box-Optimierungsaufgaben eingeschränkt. Wir stellen GPTOpt vor, eine auf LLMs basierende Optimierungsmethode, die LLMs kontinuierliche Black-Box-Optimierungsfähigkeiten verleiht. Durch das Feintuning großer Sprachmodelle auf umfangreichen synthetischen Datensätzen, die aus einer Vielzahl von BO-Parameterisierungen abgeleitet wurden, nutzt GPTOpt die Vortrainingskenntnisse von LLMs, um über verschiedene Optimierungsaufgaben hinweg generalisieren zu können. Auf einer Vielzahl von Black-Box-Optimierungsbenchmarks übertrifft GPTOpt traditionelle Optimierer und unterstreicht das Potenzial von LLMs für fortgeschrittene numerische Schlussfolgerungen. Gleichzeitig präsentiert GPTOpt einen flexiblen Ansatz für die globale Optimierung, der keine Parameteranpassung erfordert.