Tabular LLMs übertreffen traditionelle Tabellenmodelle
Neuer Standard in der Tabellenanalyse: Tabellen-Foundation-Modelle übertreffen etablierte Gradient-Boosting-Bäume auf dem TabArena-Benchmark. Laut einer unabhängigen Validierung der Snapshot-Daten vom 15. Juli 2026 gehören die Top-Ränge ausschließlich tabularen Transformer-Modellen, während konventionelle Gradient-Boosting-Decision-Trees-Ensembles zumindest 150 Elo-Punkte zurückliegen. Führend ist dabei TabICLv2 des Inria-Forschungsteams SODA. Das Open-Source-Modell mit rund 28 Millionen Parametern arbeitet rein auf Basis synthetischer Trainingsdaten und ermöglicht Zero-Shot-Vorhersagen ohne datenspezifisches Training oder Hyperparameter-Optimierung. Technisch basiert TabICLv2 auf In-Context-Learning. Ein dreistufiger Transformer verankert zuerst Merkmalseinbettungen, fasst jede Zeile zu einem festen Vektor zusammen und lässt unbekannte Testzeilen anschließend via Aufmerksamkeitsmechanismus auf gelabelte Trainingsbezüge zugreifen. Für Regressionen gibt das Modell 999 Quantile aus, was kalibrierte Unsicherheitsintervalle statt punktgenauer Schätzungen erlaubt. Die ausschließliche Vorverlagerung auf synthetische, kausal generierte Datensätze sichert eine contamination-freie Evidenzbasis, die bei neueren Ansätzen wie RealTabPFN oder TabDPT zunehmend durch reale OpenML- und Kaggle-Daten unterlaufen wird. Eine eigenständige Reproduktion auf einer einzelnen AWS-A10G-GPU verifizierte die Benchmark-Daten. Für knapp zwei Dollar erreichte das Modell unter identischen Aufteilungen einen Elo-Wert von 1559 gegenüber den offiziellen 1575 Punkten, was innerhalb der akzeptierten Bootstrap-Intervalle liegt. Im Vergleich zu intensiv abgestimmten LightGBM- oder XGBoost-Konfigurationen gewinnt TabICLv2 auf 40 von 51 TabArena-Datensätzen. Der entscheidende Nachteil der Foundation-Modelle bleibt in der Skalen- und Dimensionsgrenze: Bei über hundert Features oder hochkarätigen kategorialen Variablen dominiert weiterhin die baumbasierte Architektur. Der Datensatz Amazon_employee_access demonstriert diese Lücke durch eine Fehlerlücke von 25 Prozent. Trotz der Dominanz zeigen Routing-Ansätze komplementäre Stärken. Eine valuationsbasierte Auswahl zwischen TabICLv2 und TabPFN-2.6 steigert die Vorhersagegüte messbar, während ein Router über die Modellgrenzen hinweg zu Bäumen keine signifikante Verbesserung liefert, da sich die Validierungsfehler der Architekturen nicht direkt vergleichen lassen. Der aktuell punktuell führende Google-Modell TabFM bleibt ohne technische Publikation und unter einer nicht-kommerziellen Lizenz, was unabhängige Audits erschwert. Für die Praxis ergibt sich ein klares Regime: Tabellen unter hundert Merkmalen und moderaten Zeilenanzahlen profitieren optimal von der sofort einsetzbaren, ressourceneffizienten Inference von TabICLv2. Bei hochdimensionalen oder stark kategorialen Datenblöcken bleibt ein manuell abgestimmter Gradient-Boosting-Tree vorerst unübertroffen. Die Validierung bestätigt, dass tabulare Foundation-Modelle die jahrzehntealte Dominanz klassischer Ensemble-Methoden nachhaltig verschieben, wobei Transparenz, Reproduzierbarkeit und Lizenzfreigabe entscheidende Kriterien für die industrielle Übernahme darstellen.
