Ajustement guidé par le langage : amélioration de l'optimisation numérique grâce aux retours textuels

L’optimisation de configuration reste un goulot d’étranglement critique dans l’apprentissage automatique, nécessitant un réglage coordonné sur plusieurs dimensions : architecture du modèle, stratégie d’entraînement, ingénierie des caractéristiques et hyperparamètres. Les approches traditionnelles traitent ces dimensions de manière indépendante et manquent d’interprétabilité, tandis que les méthodes automatisées récentes peinent à s’adapter dynamiquement et à raisonner sémantiquement sur les décisions d’optimisation. Nous introduisons Language-Guided Tuning (LGT), un cadre novateur qui utilise des modèles linguistiques à grande échelle multi-agents pour optimiser intelligemment les configurations grâce à un raisonnement en langage naturel. Nous utilisons des gradients textuels — des signaux de retour qualitatifs qui complètent l’optimisation numérique en offrant une compréhension sémantique des dynamiques d’entraînement et des interdépendances entre configurations. LGT coordonne trois agents spécialisés : un Conseiller qui propose des modifications de configuration, un Évaluateur qui mesure l’évolution, et un Optimiseur qui affine le processus de prise de décision, créant ainsi une boucle de rétroaction auto-améliorante. Grâce à une évaluation approfondie sur six jeux de données diversifiés, LGT démontre des améliorations substantielles par rapport aux méthodes d’optimisation traditionnelles, atteignant des gains de performance tout en préservant une haute interprétabilité.