Les modèles de fondation pour les données tabulaires, souvent désignés à tort de LLM tabulaires, bouleversent le paradigme dominant des arbres d’boosting qui régissait le traitement des tableaux depuis dix ans. Contrairement aux grands modèles de langage, ces architectures à base de transformers ne traitent pas de texte mais manipulent directement des cellules numériques et catégorielles. Ils reposent sur l’apprentissage en contexte : en recevant un échantillon étiqueté en entrée, le modèle génère des prédictions en une seule passe d’inférence, sans aucune phase d’entraînement sur les données cibles. Sur le benchmark TabArena, mis à jour le 15 juillet 2026, cette nouvelle catégorie de modèles a pris le dessus. Tous les modèles uniques figurant en tête du classement, devant les configurations GBDT les plus finement optimisées, sont des modèles de fondation. TabICLv2, développé par l’équipe SODA d’Inria, affiche un score Elo de 1575, devançant LightGBM et XGBoost réglés qui plafonnent à 1432 tout en nécessitant un temps d’adaptation quasi nul. Un audit indépendant mené sur infrastructure standard a confirmé la robustesse de ces résultats, avec une reproductibilité quasi parfaite pour un coût de calcul de seulement deux dollars. Le modèle, comptant environ 28 millions de paramètres, fonctionne comme un algorithme de plus proches voisins appris. Il structure les données en trois étapes : encodage des distributions par colonne, agrégation vectorielle par ligne, puis inférence par attention sur les exemples fournis. Entraîné exclusivement sur des synthèses générées par des graphes causaux, il garantit l’absence totale de contamination par les données de test et reste entièrement open source. Malgré cette domination, les GBDT conservent un avantage stratégique sur les jeux de données très larges, dépassant cent caractéristiques, ou comportant des variables catégorielles à forte cardinalité et dépassant vingt mille lignes. La course à la performance pousse également certains chercheurs à incorporer des ensembles de données réelles, comme le font les versions récentes de TabPFN ou les travaux de Google Research sur TabFM. Cette évolution améliore les scores mais soulève des inquiétudes concernant les fuites de benchmark. En l’état, les modèles à préentraînement strictement synthétique restent les références les plus transparentes et reproductibles. Pour les praticiens, la stratégie actuelle s’articule autour d’une règle simple : utiliser TabICLv2 en zéro-shot pour des tableaux standards, et conserver les arbres d’boosting pour les structures complexes ou massives. L’association de plusieurs modèles de fondation, sélectionnés par validation croisée, offre également un gain de précision notable sans surcoût computationnel. Cette transition marque un tournant dans l’apprentissage automatique tabulaire, où la rapidité d’inférence et l’ouverture des poids rivalisent désormais avec la précision traditionnelle des algorithmes optimisés manuellement.