Bestehende Arbeiten im Bereich der tabellarischen Repräsentationslernen modellieren Tabellen und zugehörigen Text gemeinsam mithilfe von selbstüberwachten Zielfunktionen, die aus vortrainierten Sprachmodellen wie BERT abgeleitet sind. Obwohl diese gemeinsame Vortraining die Leistung bei Aufgaben verbessert, die gepaarte Tabellen und Text betreffen (z.B. das Beantworten von Fragen zu Tabellen), zeigen wir, dass es bei Aufgaben, die ausschließlich auf Tabellen ohne zugehörigen Text operieren (z.B. das Ergänzen fehlender Zellen), unterperformt. Wir entwickeln ein einfaches Vortrainingziel (Fehlerhafte-Zelle-Erkennung) , das ausschließlich von tabellarischen Daten lernt und den Stand der Technik in einer Reihe von tabellenbasierten Vorhersageaufgaben erreicht. Im Gegensatz zu konkurrierenden Ansätzen bietet unser Modell (TABBIE) Einbettungen aller Tabellenteilstrukturen (Zellen, Zeilen und Spalten) und erfordert auch deutlich weniger Rechenleistung zum Training. Eine qualitative Analyse der vom Modell gelernten Zellen-, Spalten- und Zeilenrepräsentationen zeigt, dass es komplexe Tabellensemantiken und numerische Trends versteht.