Lernen kontextsensitiver Faltungsfiltre für die Textverarbeitung

Faltungsneuronale Netze (CNNs) sind kürzlich als beliebtes Bauelement für die Verarbeitung natürlicher Sprache (NLP) hervorgetreten. Trotz ihrer Erfolge verwenden die meisten existierenden CNN-Modelle im NLP denselben gelernten (und statischen) Filterbestand für alle Eingabesätze. In dieser Arbeit betrachten wir einen Ansatz, bei dem ein kleines Metanetz kontextsensitive Faltungsfilter für die Textverarbeitung lernt. Die Rolle des Metanetzes besteht darin, die kontextuelle Information eines Satzes oder Dokuments in eine Reihe von einkommungsbewussten Filtern abstrahieren zu können. Wir erweitern dieses Framework weiter, um Satzpaare zu modellieren, wobei ein bidirektionales Filtergenerierungsmechanismus eingeführt wird, um koabhängige Satzrepräsentationen zu erfassen. In unseren Benchmarks an vier verschiedenen Aufgaben, einschließlich Ontologieklassifikation, Sentimentanalyse, Auswahl von Antwortständen und Paraphrasenerkennung, übertrifft unser vorgeschlagenes Modell, ein modifiziertes CNN mit kontextsensitiven Filtern, konsistent sowohl das Standard-CNN als auch die auf Aufmerksamkeit basierenden CNN-Baselines. Durch die Visualisierung der gelernten kontextsensitiven Filter bestätigen und begründen wir zudem die Effektivität des vorgeschlagenen Frameworks.