HyperAIHyperAI
منذ 2 أيام

الضبط الموجه باللغة: تحسين التحسين العددي باستخدام التغذية الراجعة النصية

Yuxing Lu, Yucheng Hu, Nan Sun, Xukai Zhao
الضبط الموجه باللغة: تحسين التحسين العددي باستخدام التغذية الراجعة النصية
الملخص

تظل تحسين التهيئة عقبة رئيسية في التعلم الآلي، حيث يتطلب الأمر تنسيقًا دقيقًا في ضبط هيكل النموذج واستراتيجية التدريب وهندسة الميزات وضبط المعلمات الفائقة. تتعامل الطرق التقليدية مع هذه الأبعاد بشكل منفصل، وتعاني من ضعف الشفافية، بينما تواجه الطرق الآلية الحديثة صعوبات في التكيف الديناميكي والتفسير المعنوي لقرارات التحسين. نقدم إطارًا جديدًا يُعرف بـ "التحسين المُرشد باللغة" (LGT)، الذي يستخدم نماذج لغة كبيرة متعددة الوكلاء لتحسين التهيئة بذكاء من خلال التفكير باللغة الطبيعية. نطبّق ما يُعرف بـ "المُدرجات النصية" – وهي إشارات تغذية راجعة نوعية تكمل التحسين العددي من خلال توفير فهم معنوي لديناميكيات التدريب والتداخلات بين التهئيات. ينسق LGT ثلاث وكلاء متخصصين: وكيل "المُستشار" الذي يقترح تغييرات في التهيئة، ووكيل "التقييم" الذي يقيّم التقدم، ووكيل "المُحسّن" الذي يُعدّل عملية اتخاذ القرار، مما يُشكّل دورة تغذية راجعة ذاتية التحسين. وقد أظهرت تقييمات شاملة على ستة مجموعات بيانات متنوعة تفوقًا كبيرًا لـ LGT مقارنة بالطرق التقليدية في التحسين، مع تحقيق مكاسب في الأداء مع الحفاظ على شفافية عالية.