NL2CMD: Ein aktualisierter Workflow zur Übersetzung natürlicher Sprache in Bash-Befehle

Die Übersetzung natürlicher Sprache in Bash-Befehle ist ein emerging Research-Feld, das in den letzten Jahren zunehmende Aufmerksamkeit erlangt hat. Die meisten Forschungsanstrengungen konzentrieren sich darauf, präzisere Übersetzungsmodelle zu entwickeln. Soweit uns bekannt ist, existieren lediglich zwei Datensätze, wobei einer auf dem anderen basiert. Beide Datensätze entstehen durch das Scrapen bekannter Datenquellen (beispielsweise über Plattformen wie Stack Overflow oder Crowdsourcing) und die Hinzuziehung von Experten zur Validierung und Korrektur entweder des englischen Textes oder der Bash-Befehle. In dieser Arbeit leisten wir zwei Beiträge zur Forschung über die Synthese von Bash-Befehlen von Grund auf. Erstens beschreiben wir ein state-of-the-art-Übersetzungsmodell, das zur Generierung von Bash-Befehlen aus entsprechenden englischen Texten eingesetzt wird. Zweitens stellen wir einen neuen NL2CMD-Datensatz vor, der automatisch generiert wird, nur minimale menschliche Intervention erfordert und mehr als sechsmal größer ist als bisherige Datensätze. Da die Generierungspipeline nicht auf bereits bestehenden Bash-Befehlen basiert, können Verteilung und Art der Befehle gezielt angepasst werden. Wir evaluieren die Leistung von ChatGPT bei dieser Aufgabe und diskutieren das Potenzial, es als Daten-Generator einzusetzen. Unsere empirischen Ergebnisse zeigen, wie Größe und Vielfalt unseres Datensatzes einzigartige Möglichkeiten für Forscher im Bereich der semantischen Parsing eröffnen.