Xingxuan Zhang Gang Ren Han Yu Hao Yuan Hui Wang et al

Abstract

Wir argumentieren, dass Fortschritte hin zu allgemeiner Intelligenz komplementäre Grundmodelle erfordern, die auf Sprache, der physischen Welt und strukturierten Daten basieren. In diesem Bericht stellen wir LimiX vor, die erste Instanz unserer großen Modelle für strukturierte Daten (Large Structured-Data Models, LDMs). LimiX behandelt strukturierte Daten als gemeinsame Verteilung über Variablen und Fehlwertstruktur und ist daher in der Lage, eine breite Palette von Tabellen-Aufgaben durch abfragbare bedingte Vorhersagen mit einem einzigen Modell zu bewältigen. LimiX wird mittels maskierter gemeinsamer Verteilungsmodellierung mit einem episodischen, kontextbedingten Zieltrainingsziel vortrainiert, wobei das Modell Vorhersagen für Abfrage-Teilmengen bedingt auf datenspezifische Kontexte trifft, was eine schnelle, trainingsschonende Anpassung zur Inference ermöglicht. Wir evaluieren LimiX anhand von 10 großen Benchmarks für strukturierte Daten, die eine breite Spanne an Stichprobengrößen, Merkmalsdimensionalitäten, Klassenanzahlen, Verhältnissen kategorischer zu numerischen Merkmalen, Fehlwertanteilen sowie Stichproben-zu-Merkmals-Verhältnissen abdecken. Mit einem einzigen Modell und einer einheitlichen Schnittstelle übertreffen LimiX konsistent starke Baselines, darunter Gradient-Boosting-Bäume, tiefe Tabellen-Netzwerke, jüngere Tabellen-Grundmodelle sowie automatisierte Ensembles, wie in Abbildung 1 und Abbildung 2 dargestellt. Die Überlegenheit zeigt sich über eine breite Aufgabenspanne – beispielsweise Klassifikation, Regression, Imputation fehlender Werte und Datengenerierung – oft mit erheblichem Abstand, ohne dass task-spezifische Architekturen oder individualisierte Trainingsprozesse pro Aufgabe erforderlich sind. Alle LimiX-Modelle sind öffentlich unter der Apache-2.0-Lizenz zugänglich.