HyperAIHyperAI
vor 18 Tagen

PhraseTransformer: Eine Integration lokaler Kontextinformationen in die sequenz-zu-Sequenz-Semantikparsung

{Minh Le Nguyen, Vu Tran, Huy Tien Nguyen, Tung Le, Phuong Minh Nguyen}
Abstract

Semantische Parsing ist eine anspruchsvolle Aufgabe, bei der eine natürlichsprachliche Äußerung in eine maschinenverstehbare Informationsdarstellung übersetzt wird. In jüngster Zeit haben Ansätze, die neuronale Maschinenübersetzung (NMT) nutzen, zahlreiche vielversprechende Ergebnisse erzielt, insbesondere der Transformer. Ein typischer Nachteil der Anpassung des herkömmlichen Transformers für das semantische Parsing besteht jedoch darin, dass er die Bedeutung von Phrasen nicht ausreichend berücksichtigt, obwohl Phrasen eine zentrale Rolle bei der Konstruktion der Satzbedeutung spielen. Daher schlagen wir eine Architektur namens PhraseTransformer vor, die eine detailliertere Bedeutungsrepräsentation ermöglicht, indem sie Phrasenabhängigkeiten innerhalb eines Satzes erlernt. Der zentrale Ansatz besteht darin, Long Short-Term Memory (LSTM) in die Self-Attention-Mechanismen des ursprünglichen Transformers zu integrieren, um den lokalen Kontext eines Wortes besser zu erfassen. Experimentelle Ergebnisse zeigen, dass unser vorgeschlagenes Modell sowohl in Bezug auf die Verständnis von Satzstrukturen als auch auf die logische Repräsentation dem ursprünglichen Transformer überlegen ist und gleichzeitig die lokale Kontextbewusstheit des Modells erhöht, ohne externe Baumstrukturen zu benötigen. Zudem bleibt die Anzahl der sequenziellen Operationen im PhraseTransformer, obwohl ein rekurrentes Architekturkomponente integriert ist, weiterhin (1), vergleichbar mit dem ursprünglichen Transformer. Unser vorgeschlagenes Modell erzielt eine starke, wettbewerbsfähige Leistung auf den Datensätzen Geo und MSParS und erreicht auf dem Atis-Datensatz SOTA-Ergebnisse unter allen neuronalen Netzwerk-basierten Ansätzen. Um die Generalisierbarkeit unseres Modells zu demonstrieren, führen wir zudem umfangreiche Experimente auf drei Übersetzungsdatasets durch: IWLST14 (Deutsch–Englisch), IWSLT15 (Vietnamesisch–Englisch) und WMT14 (Englisch–Deutsch), wobei wir signifikante Verbesserungen beobachten. Unser Code ist unter https://github.com/phuongnm94/PhraseTransformer.git verfügbar.