Lernen von wissensgraphenbasierten Weltmodellen textueller Umgebungen

Weltmodelle verbessern die Fähigkeit eines Lernagents, effizient in interaktiven und situativen Umgebungen zu agieren. Diese Arbeit konzentriert sich auf die Aufgabe des Aufbaus von Weltmodellen für textbasierte Spielenvironment. Textbasierte Spiele, auch interaktive Erzählungen genannt, sind Umgebungen im Bereich des Verstärkungslernens, in denen Agenten die Welt durch natürliche Sprache wahrnehmen und mit ihr interagieren. Diese Umgebungen enthalten lange, mehrschrittige Rätsel oder Quests, die in einer Welt verflochten sind, die Hunderte von Charakteren, Orten und Objekten beherbergt. Unser Weltmodell lernt gleichzeitig: (1) Veränderungen in der Welt vorherzusagen, die durch die Aktionen eines Agenten verursacht werden, wenn die Welt als Wissensgraph repräsentiert wird; und (2) die Menge an kontextuell relevanten natürlichen Sprachaktionen zu generieren, die zur Interaktion in der Welt erforderlich sind. Wir formulieren diese Aufgabe als ein Set-of-Sequences-Generierungsproblem, indem wir die inhärente Struktur von Wissensgraphen und Aktionen ausnutzen, und führen sowohl eine transformerbasierte Multi-Task-Architektur als auch eine Verlustfunktion zur Trainingserstellung ein. Eine Zero-Shot-Ablation-Studie an bisher nie gesehenen textbasierten Welten zeigt, dass unsere Methode bestehende Techniken zur Modellierung textbasierter Welten erheblich übertrifft und die Bedeutung jedes einzelnen Beitrags hervorhebt.