Sprachgesteuertes Feintuning: Verbesserung der numerischen Optimierung durch textuelle Rückmeldungen

Die Optimierung von Konfigurationen bleibt eine zentrale Herausforderung im maschinellen Lernen und erfordert eine koordinierte Abstimmung von Modellarchitektur, Trainingsstrategie, Merkmalsingenieurwesen und Hyperparametern. Traditionelle Ansätze behandeln diese Dimensionen unabhängig voneinander und fehlen an Interpretierbarkeit, während neuere automatisierte Methoden mit dynamischer Anpassungsfähigkeit und semantischer Schlussfolgerung bezüglich Optimierungsentscheidungen Schwierigkeiten haben. Wir stellen Language-Guided Tuning (LGT) vor, einen neuartigen Rahmen, der mehragentenbasierte große Sprachmodelle einsetzt, um Konfigurationen durch natürlichsprachliche Schlussfolgerung intelligent zu optimieren. Dabei nutzen wir sogenannte Textgradienten – qualitative Rückmeldesignale, die numerische Optimierung ergänzen und eine semantische Einsicht in die Trainingsdynamik sowie die Wechselwirkungen zwischen Konfigurationselementen ermöglichen. LGT koordiniert drei spezialisierte Agenten: einen Berater, der Konfigurationsänderungen vorschlägt, einen Evaluierer, der den Fortschritt bewertet, und einen Optimierer, der den Entscheidungsprozess verfeinert, wodurch eine sich selbst verbessernende Rückkopplungsschleife entsteht. In einer umfassenden Evaluation an sechs unterschiedlichen Datensätzen zeigt LGT erhebliche Verbesserungen gegenüber herkömmlichen Optimierungsverfahren und erreicht dabei Leistungssteigerungen, ohne die hohe Interpretierbarkeit zu verlieren.