Graph2Seq: Lernen von Graphen zu Sequenzen mit aufmerksamkeitsbasierten neuronalen Netzen

Die berühmte Sequence-to-Sequence-Lernmethode (Seq2Seq) und ihre zahlreichen Varianten erzielen ausgezeichnete Ergebnisse bei vielen Aufgaben. Viele maschinelle Lernaufgaben haben jedoch Eingaben, die natürlicherweise als Graphen dargestellt werden; bestehende Seq2Seq-Modelle haben erhebliche Schwierigkeiten, eine genaue Umwandlung von der Graphform in die entsprechende Sequenz zu erreichen. Um dieser Herausforderung zu begegnen, stellen wir ein neues allgemeines End-to-End-Modell vor, das einen Eingabegraphen in eine Sequenz von Vektoren abbildet und eine aufmerksamkeitsbasierte LSTM-Methode verwendet, um die Zielsequenz aus diesen Vektoren zu dekodieren.Unsere Methode generiert zunächst die Knoten- und Grapheneinbettungen mit einem verbesserten graphbasierten Neuronalen Netzwerk, das eine neuartige Aggregationsstrategie verwendet, um Informationen über Kantenrichtungen in den Knoteneinbettungen zu integrieren. Wir führen zudem einen Aufmerksamkeitsmechanismus ein, der Knoteneinbettungen und die Dekodierungssequenz ausrichtet, um besser mit großen Graphen umzugehen. Experimentelle Ergebnisse bei den Aufgaben bAbI, kürzester Pfad und natürlichsprachlicher Generierung zeigen, dass unser Modell den aktuellen Stand der Technik erreicht und bestehende graphbasierte neuronale Netze, Seq2Seq- und Tree2Seq-Modelle deutlich übertreffen kann. Durch die Verwendung der vorgeschlagenen bidirektionalen Knoteneinbettungsaggregationsstrategie kann das Modell schnell zur optimalen Leistung konvergieren.