Haoyu Dong Pengkun Zhang Mingzhe Lu Yanzhen Shen Guolin Ke

Résumé

Les modèles linguistiques à grande échelle (LLM) possèdent une connaissance étendue du monde et une capacité de raisonnement généraliste forte, mais ils peinent à apprendre à partir de nombreux exemples fournis dans le contexte (in-context) sur des tâches standard d'apprentissage automatique (ML), c’est-à-dire à exploiter des démonstrations à très grande échelle uniquement via l’apprentissage dans le contexte (ICL) sans recourir à la descente de gradient. Nous introduisons MachineLearningLM, un cadre de pré-entraînement continu portable qui confère à un LLM généraliste une capacité robuste à l’apprentissage automatique dans le contexte, tout en préservant sa connaissance générale et sa capacité de raisonnement pour des workflows de conversation plus larges.Notre procédé de pré-entraînement synthétise des tâches d’apprentissage automatique à partir de millions de modèles causaux structurels (SCM), couvrant des nombres d’exemples allant jusqu’à 1 024. Nous partons d’un modèle enseignant aléatoire (random forest), dont nous transférons stratégiquement les décisions basées sur des arbres dans le LLM, afin de renforcer la robustesse dans la modélisation numérique. Toutes les tâches sont sérialisées à l’aide d’un prompt efficace en termes de tokens, permettant d’intégrer 3 à 6 fois plus d’exemples par fenêtre contextuelle, et offrant jusqu’à 50 fois plus de débit amorti grâce à l’inférence par lots.Malgré une configuration modeste (Qwen-2.5-7B-Instruct avec un rang LoRA de 8), MachineLearningLM surpasser en moyenne les modèles LLM de référence performants (par exemple, GPT-5-mini) de près de 15 % sur des tâches de classification tabulaire hors distribution, dans des domaines variés tels que la finance, la physique, la biologie et la santé. Il présente une loi d’échelle remarquable à très grande échelle : la précision augmente de manière monotone lorsque le nombre d’exemples dans le contexte passe de 8 à 1 024. Sans aucune formation spécifique à la tâche, il atteint une précision équivalente à celle d’un random forest sur des centaines d’exemples. Les capacités générales de conversation, y compris la connaissance et le raisonnement, sont préservées : il obtient un score de 75,4 % sur MMLU.