Latente Prädiktor-Netzwerke für Code-Generierung

Viele Sprachgenerierungsaufgaben erfordern die Erzeugung von Text auf der Grundlage sowohl strukturierter als auch unstrukturierter Eingaben. Wir stellen eine neuartige neuronale Netzwerkarchitektur vor, die eine Ausgabe-Sequenz unter Berücksichtigung einer beliebigen Anzahl von Eingabefunktionen generiert. Entscheidend ist dabei, dass unser Ansatz sowohl die Wahl des Kontexts für die Bedingung als auch die Granularität der Generierung, beispielsweise Zeichen oder Token, marginalisiert, was skalierbare und effektive Trainingsmethoden ermöglicht. Mit Hilfe dieses Frameworks behandeln wir das Problem der Generierung von Programmcode aus einer Mischung natürlicher Sprache und strukturierter Spezifikation. Dafür erstellen wir zwei neue Datensätze, die aus den sammelbaren Handelsspielkarten-Spielen Magic: The Gathering und Hearthstone abgeleitet sind. Anhand dieser sowie eines dritten bereits existierenden Korpus zeigen wir, dass das Marginalisieren mehrerer Prädiktoren es unserem Modell ermöglicht, starke Benchmarks zu übertreffen.