Über die modellierung von neuralen Sätzen auf der Basis von Bäumen

Neuronale Netze mit bausbasierten Satzencodern haben auf vielen nachgelagerten Aufgaben bessere Ergebnisse gezeigt. Die meisten existierenden bausbasierten Encodern verwenden syntaktische Parsebäume als explizite strukturelle Vorgaben. Um die Effektivität verschiedener Baustrukturen zu untersuchen, ersetzen wir die Parsebäume in den Encodern durch triviale Bäume (d.h., binäre balancierte Bäume, linke Verzweigungsbaum und rechte Verzweigungsbaum). Obwohl diese trivialen Bäume keine syntaktischen Informationen enthalten, erzielen diese Encoder wettbewerbsfähige oder sogar bessere Ergebnisse bei allen zehn nachgelagerten Aufgaben, die wir untersucht haben. Dieses überraschende Ergebnis deutet darauf hin, dass explizite syntaktische Leitlinien möglicherweise nicht der Hauptbeitrag zur überlegenen Leistung von bausbasiertem neuronalem Satzmodellieren sind. Eine weitere Analyse zeigt, dass das Baummodellierung bessere Ergebnisse liefert, wenn wichtige Wörter näher am endgültigen Repräsentationsknoten liegen. Zusätzliche Experimente geben weitere Hinweise darauf, wie ein effektiver bausbasierter Encoder gestaltet werden kann. Unser Code ist Open Source und steht unter folgender Adresse zur Verfügung: https://github.com/ExplorerFreda/TreeEnc.