Neuronale Semantische Encoder

Wir stellen ein neurales Netzwerk mit erweiterter Speicherfunktion für die Verarbeitung natürlicher Sprache vor: Neural Semantic Encoders (NSE). Das NSE ist mit einer neuartigen Regel zur Speicheraktualisierung ausgestattet und verfügt über einen variabel dimensionierten Codierspeicher, der sich im Laufe der Zeit entwickelt und das Verständnis von Eingabesequenzen durch Lese-, Komposition- und Schreiboperationen aufrechterhält. Zudem kann das NSE auf mehrere und geteilte Speichersysteme zugreifen. In dieser Arbeit haben wir die Effektivität und Flexibilität des NSE an fünf verschiedenen Aufgaben der natürlichen Sprache demonstriert: natürliche Sprachinferenz, Fragebeantwortung, Satzklassifizierung, Dokumentsentimentanalyse und maschinelle Übersetzung. Hierbei erreichte das NSE den aktuellen Stand der Technik bei öffentlich verfügbaren Benchmarks. Zum Beispiel zeigte unser Modell mit gemeinsam genutztem Speicher vielversprechende Ergebnisse in der neuronalen maschinellen Übersetzung, wobei es eine aufmerksamkeitsbasierte Baseline um etwa 1,0 BLEU verbesserte.