Selbstadaptives hierarchisches Satzmodell

Die Fähigkeit, einen Satz in verschiedenen Stufen (z.B. Wort-Phrase-Satz) genauestens zu modellieren, spielt eine zentrale Rolle in der Verarbeitung natürlicher Sprache. Als Beitrag zu diesem Ziel schlagen wir ein selbstadaptives hierarchisches Satzmodell (AdaSent) vor. AdaSent bildet effektiv eine Hierarchie von Repräsentationen von Wörtern über Phrasen bis hin zu Sätzen durch rekursive, gatete lokale Komposition benachbarter Segmente. Wir entwerfen ein Wettbewerbsmechanismus (durch Gating-Netzwerke), der es ermöglicht, dass die Repräsentationen desselben Satzes in einer bestimmten Lernaufgabe (z.B. Klassifizierung) eingesetzt werden, wodurch das Problem des Gradientenverschwindens, das in anderen rekursiven Modellen beständig ist, effektiv gemindert wird. Sowohl qualitative als auch quantitative Analysen zeigen, dass AdaSent während des Trainings automatisch die für die aktuelle Aufgabe geeigneten Repräsentationen bilden und auswählen kann, was zu einem überlegenen Klassifikationsleistungsergebnis im Vergleich zu konkurrierenden Modellen auf fünf Benchmark-Datensätzen führt.