Jamison Meindl Yunsheng Tian Tony Cui Veronika Thost Zhang-Wei Hong Jie Chen Wojciech Matusik Mina Konaković Luković

الملخص

تحتاج العمليات العالمية لتحسين الدوال السوداء ذات التكلفة العالية والغير قابلة للتفاضل إلى كفاءة عالية جدًا في استخدام العينات. إذ يمكن أن تكون الأساليب الكلاسيكية مثل التحسين البنائي (Bayesian Optimization - BO) فعالة، لكنها غالبًا ما تتطلب ضبطًا دقيقًا للمعاملات لكل مجال تطبيقي. وفي الوقت نفسه، أظهرت النماذج اللغوية الكبيرة (Large Language Models - LLMs) قدرات واسعة النطاق، إلا أن النماذج الرائدة حاليًا لا تزال محدودة في حل مهام التحسين المستمر للدوال السوداء. نقدم GPTOpt، وهي طريقة قائمة على النماذج اللغوية الكبيرة، تزوّد هذه النماذج بقدرات التحسين المستمر للدوال السوداء. من خلال تدريب النماذج اللغوية الكبيرة على مجموعات بيانات اصطناعية واسعة مستمدة من تكوينات مختلفة لـ BO، يُمكن لـ GPTOpt الاستفادة من التدريب المسبق للنماذج اللغوية لتمديد قدرتها على التعميم عبر مهام التحسين المختلفة. وقد تفوق GPTOpt على المُحسّنات التقليدية في مجموعة متنوعة من معايير التحسين للدوال السوداء، مما يُبرز القدرة الحقيقية للنماذج اللغوية الكبيرة على التفكير العددي المتقدم، ويقدّم إطارًا مرنًا للتحسين العالمي دون الحاجة إلى ضبط المعاملات.