HyperAIHyperAI

Command Palette

Search for a command to run...

CoSQL: Eine conversationale Text-zu-SQL-Herausforderung im Dienste von cross-domain natürlichen Sprach-Schnittstellen zu Datenbanken

Zusammenfassung

Wir präsentieren CoSQL, eine Korpus-Datenbasis zur Entwicklung von dialogbasierten Systemen für die Abfrage von Datenbanken (DB) über verschiedene Domänen hinweg und mit allgemeiner Anwendbarkeit. Das Korpus umfasst über 30.000 Dialogschritte sowie über 10.000 annotierte SQL-Abfragen, die aus einer Wizard-of-Oz (WOZ)-Sammlung von 3.000 Dialogen gewonnen wurden, in denen 200 komplexe Datenbanken aus 138 unterschiedlichen Domänen abgefragt wurden. Jeder Dialog simuliert eine realitätsnahe Datenbankabfragesituation, bei der ein Nutzer – repräsentiert durch einen Crowdsourcer – die Datenbank erkundet, während ein SQL-Experte die Antworten mithilfe von SQL-Abfragen liefert, unklare Fragen klärt oder darauf hinweist, wenn eine Frage nicht beantwortbar ist. Wenn die Fragen durch SQL beantwortet werden können, beschreibt der Experte dem Nutzer sowohl die SQL-Abfrage als auch die Ergebnisse, wodurch ein natürliches Interaktionsfluss gewährleistet wird. Im Gegensatz zu bestehenden datenbasierten Dialog-Datenbanken stellt CoSQL neue Herausforderungen dar: (1) Die Dialogzustände sind auf SQL basiert, einer domänenunabhängigen, ausführbaren Darstellungsform, anstelle von domänenspezifischen Schlüssel-Wert-Paaren, und (2) da die Tests an bisher unbekannten Datenbanken durchgeführt werden, erfordert Erfolg eine Generalisierung auf neue Domänen. CoSQL umfasst drei Aufgaben: SQL-basierte Zustandsverfolgung im Dialog, Antwortgenerierung aus Abfrageergebnissen sowie Vorhersage des Nutzerdialog-Akts. Wir evaluieren eine Reihe starker Baseline-Modelle für jede Aufgabe und zeigen, dass CoSQL erhebliche Herausforderungen für zukünftige Forschung darstellt. Das Datenset, die Baselines und die Leaderboard-Plattform werden unter https://yale-lily.github.io/cosql veröffentlicht.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp