Zhichao Wang Dongyang Ma Xinting Huang Deng Cai Tian Lan Jiahao Xu Haitao Mi Xiaoying Tang Yan Wang

Résumé

L’étiquette de « bout en bout » (end-to-end) appliquée aux grands modèles linguistiques (LLM) est trompeuse. En pratique, ces modèles reposent sur un processus de décodage non différentiable, qui exige un réglage manuel fastidieux de hyperparamètres tels que la température ou top-p. Ce papier présente AutoDeco, une nouvelle architecture qui permet une génération véritablement « bout en bout » en apprenant à contrôler sa propre stratégie de décodage. Nous enrichissons le modèle Transformer standard par des têtes légères qui, à chaque étape, prédise de manière dynamique, en fonction du contexte, les valeurs de température et de top-p, en parallèle avec les logits du prochain mot. Cette approche transforme le décodage en un processus paramétrique et au niveau du token, permettant au modèle de réguler automatiquement sa stratégie d’échantillonnage en une seule passe avant. Grâce à des expérimentations étendues sur huit benchmarks, nous montrons qu’AutoDeco surpasse non seulement de manière significative les stratégies de décodage par défaut, mais atteint également une performance comparable à celle d’une base oracle-tunée obtenue par « piratage du jeu de test » — une borne supérieure pratique pour toute méthode statique. De façon cruciale, nous mettons en évidence une capacité émergente de contrôle du décodage par instruction : le modèle apprend à interpréter des commandes en langage naturel (par exemple, « générez avec faible aléatoire ») et ajuste, mot par mot, les valeurs prédites de température et de top-p, ouvrant ainsi une nouvelle voie pour le décodage des LLM pilotable et interactif.