초록
구성 최적화는 머신러닝에서 여전히 핵심적인 성능 저해 요인으로 남아 있으며, 모델 아키텍처, 학습 전략, 특징 공학, 하이퍼파라미터 등 다양한 요소 간의 조율적 튜닝이 필요하다. 기존의 접근 방식은 이러한 차원들을 독립적으로 다루며 해석 가능성에 결함이 있으며, 최근의 자동화된 방법들은 동적 적응성과 최적화 결정에 대한 의미론적 추론 능력에서 어려움을 겪고 있다. 본 연구에서는 자연어 추론을 통해 구성 설정을 지능적으로 최적화하는 새로운 프레임워크인 언어 유도 튜닝(Language-Guided Tuning, LGT)을 제안한다. LGT는 다중 에이전트 기반의 대규모 언어 모델을 활용하여 텍스트 기반의 기울기(텍스트 기울기, textual gradients)를 도입한다. 이는 수치적 최적화를 보완하는 질적 피드백 신호로서, 학습 동역학과 구성 간 상호의존성에 대한 의미론적 이해를 제공한다. LGT는 세 가지 전문화된 에이전트를 통합하여 운영한다: 구성 변경을 제안하는 어드바이저(Advisor), 성과를 평가하는 평가자(Evaluator), 그리고 의사결정 과정을 정교화하는 최적화자(Optimizer)로 구성되며, 자기 개선형 피드백 루프를 형성한다. 여섯 가지 다양한 데이터셋에서 수행된 종합적인 평가를 통해 LGT는 전통적인 최적화 방법 대비 상당한 성능 향상을 입증하였으며, 높은 해석 가능성 유지와 함께 우수한 성능을 동시에 달성하였다.