RASAT: Integration relationaler Strukturen in vortrainierte Seq2Seq-Modelle für Text-to-SQL

Relationale Strukturen wie Schema-Linking und Schema-Encoding wurden als zentraler Bestandteil für die qualitativ hochwertige Übersetzung natürlicher Sprache in SQL-Abfragen validiert. Die Einführung solcher struktureller Beziehungen ist jedoch mit Kosten verbunden: Sie führen oft zu spezialisierten Modellarchitekturen, die die Verwendung großer vortrainierter Modelle in Text-to-SQL-Szenarien weitgehend ausschließen. Um dieses Problem anzugehen, schlagen wir RASAT vor – eine Transformer-Seq2Seq-Architektur, die durch relationenbewusste Selbst-Attention erweitert ist und gleichzeitig eine Vielzahl relationaler Strukturen nutzen sowie die vortrainierten Parameter des T5-Modells effektiv übernehmen kann. Unser Modell ist in der Lage, nahezu alle in der Literatur etablierten Relationstypen zu integrieren, und wir schlagen zudem die Einführung von Ko-Referenz-Relationen für mehrschrittige Szenarien vor. Experimentelle Ergebnisse auf drei weit verbreiteten Text-to-SQL-Datensätzen, die sowohl einstufige als auch mehrschrittige Szenarien abdecken, zeigen, dass RASAT auf allen drei Benchmarks state-of-the-art-Ergebnisse erzielt (75,5 % EX auf Spider, 52,6 % IEX auf SParC und 37,4 % IEX auf CoSQL).