高コストで導関数が得られないブラックボックス関数のグローバル最適化には、極めて高いサンプル効率が求められる。従来の手法であるベイズ最適化（BO）は有効な場合もあるが、通常、各応用分野に応じた慎重なパラメータチューニングが必要となる。一方、大規模言語モデル（LLM）は広範な能力を示しているが、現行の最先端モデルは連続的ブラックボックス最適化タスクの解決において依然として限界がある。本研究では、LLMに連続的ブラックボックス最適化能力を付与する新しい最適化手法「GPTOpt」を提案する。GPTOptは、多様なBOパラメータ設定から得られた大規模な合成データセットを用いて大規模言語モデルをファインチューニングすることで、LLMの事前学習による汎化能力を活用する。さまざまなブラックボックス最適化ベンチマークにおいて、GPTOptは従来の最適化手法を上回り、LLMが高度な数値推論を実行できる可能性を示すとともに、パラメータチューニングを必要としない柔軟なグローバル最適化フレームワークを提供する。