Lernen von Metadaten-unabhängigen Darstellungen für Text-to-SQL In-Context Beispielauswahl

Das kontextbasierte Lernen (ICL) ist ein mächtiges Paradigma, bei dem große Sprachmodelle (LLMs) von Aufgabenbeispielen profitieren, die dem Prompt hinzugefügt werden. Die Auswahl optimaler Beispiele ist jedoch nicht trivial, insbesondere für komplexe oder multimodale Aufgaben, bei denen sich die Verteilungen von Eingabe- und Ausgabedaten unterscheiden. Wir gehen davon aus, dass die Bildung aufgabenbezogener Darstellungen der Eingabe entscheidend ist. In dieser Arbeit schlagen wir eine Methode vor, um Darstellungen natürlichsprachlicher Fragen und SQL-Abfragen in einem gemeinsamen Einbettungsraum zu alignen. Unsere Technik, die als MARLO – Metadata-Agnostische Repräsentationslernmethode für Text-to-SQL – bezeichnet wird, nutzt die Abfragestruktur, um das Abfrageziel zu modellieren, ohne übermäßig auf Metadaten der zugrunde liegenden Datenbank (z.B. Tabellen, Spalten oder domänenspezifische Entitäten, die in der Frage oder Abfrage erwähnt werden) zu fokussieren. Dies ermöglicht es MARLO, Beispiele auszuwählen, die strukturell und semantisch für die Aufgabe relevant sind, anstatt Beispiele, die zufällig mit einer bestimmten Domäne oder Formulierung der Frage zusammenhängen. Bei der Rückgewinnung von Beispielen basierend auf Frageähnlichkeit zeigt MARLO eine überlegene Leistung im Vergleich zu generischen Einbettungsmodellen (im Durchschnitt +2,9 Prozentpunkte in der Ausführungsgenauigkeit) am Spider-Benchmark. Es übertreffen auch den nächstbesten Ansatz, der Metadateninformationen maskiert, im Durchschnitt um +0,8 Prozentpunkte in der Ausführungsgenauigkeit und verursacht dabei erheblich geringere Inferenzverzögerungen.