Command Palette
Search for a command to run...
Black-Box On-Policy Distillation von Large Language Models
Black-Box On-Policy Distillation von Large Language Models
Tianzhu Ye Li Dong Zewen Chi Xun Wu Shaohan Huang Furu Wei
Zusammenfassung
Black-box-Distillation ermöglicht die Erstellung von Schüler-Großsprachmodellen (LLMs) durch Lernen ausschließlich aus den Textausgaben eines proprietären Lehrermodells, ohne Zugriff auf dessen interne Logits oder Parameter. In dieser Arbeit führen wir Generative Adversarielle Distillation (GAD) ein, die sowohl on-policy- als auch black-box-Distillation ermöglicht. GAD modelliert das Schüler-LLM als Generator und trainiert einen Diskriminators, um dessen Antworten von denen des Lehrer-LLMs zu unterscheiden, wodurch ein Minimax-Spiel entsteht. Der Diskriminator fungiert dabei als on-policy Belohnungsmodell, das sich gemeinsam mit dem Schüler entwickelt und stabile, adaptive Rückmeldungen liefert. Experimentelle Ergebnisse zeigen, dass GAD die häufig verwendete sequenzweisen Wissensdistillation konsistent übertrifft. Insbesondere erreicht das Qwen2.5-14B-Instruct-Modell (Schüler), das mit GAD trainiert wurde, eine vergleichbare Leistung wie sein Lehrermodell GPT-5-Chat bei der automatischen Bewertung über das LMSYS-Chat-Dataset. Die Ergebnisse etablieren GAD als vielversprechendes und effektives Paradigma für die black-box-basierte Distillation von Großsprachmodellen.