PICARD: Parsing inkrementell für begrenzte autoregressive Decodierung aus Sprachmodellen

Große vortrainierte Sprachmodelle für textuelle Daten verfügen über einen ungehinderten Ausgaberaum; bei jedem Dekodierungsschritt können sie beliebige der 10.000s von Subwort-Token erzeugen. Wenn diese Modelle auf eingeschränkte formale Sprachen wie SQL fine-tuned werden, erzeugen sie häufig ungültigen Code, der somit nutzlos ist. Wir stellen PICARD (Code und trainierte Modelle sind unter https://github.com/ElementAI/picard verfügbar) vor, eine Methode zur Einschränkung autoregressiver Dekoder von Sprachmodellen mittels inkrementeller Analyse. PICARD unterstützt die Suche nach gültigen Ausgabefolgen, indem es unzulässige Tokens in jedem Dekodierungsschritt ablehnt. Auf den anspruchsvollen Text-zu-SQL-Aufgaben Spider und CoSQL zeigen wir, dass PICARD fine-tuned T5-Modelle mit durchschnittlicher Leistung in state-of-the-art-Lösungen transformiert.