Text-to-SQL in the Wild: Ein natürlich vorkommendes Datensatz basierend auf Stack Exchange-Daten

Die meisten verfügbaren Datensätze für semantische Parsing, bestehend aus Paaren natürlicher Äußerungen und logischen Formen, wurden ausschließlich zum Training und zur Evaluation von Systemen für die natürliche Sprachverstehens gewonnen. Folglich enthalten sie keinerlei Vielfalt und Reichhaltigkeit natürlicher Äußerungen, wie sie in der Praxis auftreten, wenn Menschen nach Daten fragen, die sie benötigen, oder einfach neugierig sind. In dieser Arbeit stellen wir SEDE vor, einen Datensatz mit 12.023 Paaren aus Äußerungen und SQL-Abfragen, die aus der tatsächlichen Nutzung der Stack Exchange-Website gesammelt wurden. Wir zeigen, dass diese Paare eine Vielzahl realweltlicher Herausforderungen enthalten, die bisher in keinem anderen Datensatz für semantisches Parsing angemessen widergespiegelt wurden. Zudem schlagen wir eine Evaluationsmetrik vor, die auf dem Vergleich partieller Abfrageklauseln basiert und besser für reale Anfragen geeignet ist. Schließlich führen wir Experimente mit starken Baseline-Modellen durch und zeigen eine erhebliche Leistungslücke zwischen SEDE und anderen gängigen Datensätzen.