Résumé

Alors que le fine-tuning supervisé (SFT) évolue d’une étape post-entraînement légère vers une phase intensivement consommatrice de ressources, comparables en ampleur à une phase d’entraînement intermédiaire, l’efficacité des données devient cruciale pour l’alignement des grands modèles linguistiques (LLM) sous contraintes budgétaires strictes. Les méthodes existantes de réduction de données souffrent d’une conception fragmentée : elles opèrent soit au niveau des échantillons, soit au niveau des jetons de manière isolée, sans optimiser simultanément ces deux dimensions. Ce décalage entraîne des inefficacités importantes : des échantillons à haute valeur peuvent encore contenir des jetons redondants, tandis que la suppression de jetons au niveau individuel élimine souvent des signaux instructifs ou correctifs essentiels intégrés dans des exemples spécifiques. Pour surmonter ce goulot d’étranglement, nous introduisons le plan d’erreur-incertitude (EU Plane), un cadre diagnostique qui caractérise conjointement l’utilité hétérogène des données d’entraînement à la fois au niveau des échantillons et des jetons. Partant de cette observation, nous proposons Q-Tuning, un cadre unifié qui coordonne stratégiquement la suppression d’échantillons et celle de jetons. Q-Tuning adopte une stratégie en deux étapes : premièrement, il effectue un tri au niveau des échantillons afin de conserver ceux riches en erreurs informatives ou en signaux de calibration ; deuxièmement, il applique une politique asymétrique de suppression de jetons, utilisant un mécanisme de notation sensible au contexte pour supprimer uniquement les jetons moins significatifs des échantillons contenant des erreurs, tout en préservant intégralement les échantillons de calibration. Notre méthode établit un nouveau record sur cinq benchmarks diversifiés. De manière remarquable, sur SmolLM2-1.7B, Q-Tuning atteint une amélioration moyenne de +38 % par rapport à la référence SFT sur l’ensemble des données, en utilisant uniquement 12,5 % des données d’entraînement initiales. En tant que première approche dynamique de suppression de données à surpasser systématiquement l’entraînement sur l’ensemble des données, Q-Tuning fournit un cadre pratique et évolutif pour maximiser l’utilisation des données dans le cadre du SFT des LLM sous contraintes budgétaires.