HyperAIHyperAI
vor 11 Tagen

ST-Raptor: Fragenbeantwortung für halbstrukturierte Tabellen mit Unterstützung durch Sprachmodelle

Zirui Tang, Boyu Niu, Xuanhe Zhou, Boxiu Li, Wei Zhou, et al
ST-Raptor: Fragenbeantwortung für halbstrukturierte Tabellen mit Unterstützung durch Sprachmodelle
Abstract

Halbstrukturierte Tabellen, die in realen Anwendungen weit verbreitet sind (z. B. Finanzberichte, medizinische Dokumente, Transaktionsbestellungen), weisen oft flexible und komplexe Layouts auf (z. B. hierarchische Überschriften und zusammengeführte Zellen). Diese Tabellen werden in der Regel von menschlichen Analysten interpretiert, um relevante Fragen in natürlicher Sprache zu beantworten – ein Vorgang, der kostspielig und ineffizient ist. Um diesen Prozess zu automatisieren, stehen bestehende Methoden vor erheblichen Herausforderungen. Erstens erfordern Methoden wie NL2SQL die Umwandlung halbstrukturierter Tabellen in strukturierte Formate, was häufig zu erheblichen Informationsverlusten führt. Zweitens stoßen Methoden wie NL2Code und multimodale LLM-Abfragesysteme an ihre Grenzen, wenn es um die Interpretation komplexer Layouts halbstrukturierter Tabellen geht und können entsprechende Fragen nicht präzise beantworten. Um dieses Problem zu lösen, stellen wir ST-Raptor vor – einen baumbasierten Rahmen für die Fragebeantwortung zu halbstrukturierten Tabellen mithilfe großer Sprachmodelle. Zunächst führen wir den Hierarchisch-Orthogonalen Baum (HO-Baum) ein, ein strukturelles Modell, das komplexe Layouts halbstrukturierter Tabellen erfassen kann, sowie einen effektiven Algorithmus zur Baumkonstruktion. Zweitens definieren wir eine Reihe grundlegender Baumoperationen, die LLMs bei der Durchführung häufiger Fragebeantwortungsaufgaben unterstützen. Bei einer Benutzerfrage zerlegt ST-Raptor diese in einfachere Teilfragen, generiert entsprechende Baumoperationen-Pipelines und führt eine Operation-Tabelle-Alignment durch, um die exakte Ausführung der Pipeline zu gewährleisten. Drittens integrieren wir ein zweistufiges Überprüfungsmechanismus: Die Vorwärtsvalidierung überprüft die Korrektheit der Ausführungsschritte, während die Rückwärtsvalidierung die Zuverlässigkeit der Antwort bewertet, indem sie die ursprüngliche Anfrage aus der vorhergesagten Antwort rekonstruiert. Um die Leistung zu bewerten, präsentieren wir SSTQA, eine Datensammlung mit 764 Fragen zu 102 realen halbstrukturierten Tabellen. Experimente zeigen, dass ST-Raptor neun Baseline-Verfahren um bis zu 20 % in der Antwortgenauigkeit übertrifft. Der Quellcode ist unter folgender URL verfügbar: [https://…]