Leseordnung spielt eine Rolle: Informationsextraktion aus visuell reichhaltigen Dokumenten durch Vorhersage von Token-Pfaden

Neuere Fortschritte bei multimodalen vortrainierten Modellen haben die Informationsextraktion aus visuell reichhaltigen Dokumenten (VrDs) erheblich verbessert, wobei die Named-Entity-Erkennung (NER) als sequenzielle Klassifizierungsaufgabe betrachtet wird, bei der BIO-Entitätstags für Tokens vorhergesagt werden, entsprechend den üblichen Einstellungen der NLP. Allerdings basiert das BIO-Tagschema auf der korrekten Reihenfolge der Modellinputs, was in der Realität bei NER auf gescannten VrDs nicht garantiert ist, da Texte durch OCR-Systeme erkannt und angeordnet werden. Diese Lesereihenfolgenproblematik behindert die genaue Markierung von Entitäten durch das BIO-Tagschema und macht es unmöglich, dass sequenzielle Klassifizierungsmethoden korrekte benannte Entitäten vorhersagen können. Um dieses Problem zu lösen, stellen wir Token-Pfad-Vorhersage (TPP) vor, einen einfachen Vorhersagekopf, der Entitätsnennungen als Tokensequenzen innerhalb von Dokumenten vorhersagt. Im Gegensatz zur Tokenklassifizierung modelliert TPP das Dokumentlayout als vollständigen gerichteten Graphen von Tokens und vorhersagt Tokenpfade innerhalb des Graphen als Entitäten. Für eine bessere Bewertung von VrD-NER-Systemen schlagen wir zudem zwei überarbeitete Benchmark-Datensätze für NER auf gescannten Dokumenten vor, die realistische Szenarien widerspiegeln. Die experimentellen Ergebnisse belegen die Effektivität unserer Methode und deuten darauf hin, dass sie ein universelles Lösungsansatz für verschiedene Informationsextraktionsaufgaben in Dokumenten sein könnte.