要約
樹構造を用いたニューラルネットワークは、多くの下流タスクで優れた結果を示しています。既存の大部分の樹構造エンコーダーは、文法解析木を明示的な構造的事前情報として採用しています。異なる樹構造の効果を研究するために、これらのエンコーダーにおいて解析木を単純な木（つまり、二分平衡木、左枝分かれ木、右枝分かれ木）に置き換えました。単純な木には文法情報が含まれていませんが、調査した10つの下流タスクすべてにおいて競合するか、あるいはそれ以上の結果を得ています。この予想外の結果は、明示的な文法的ガイダンスが樹構造に基づくニューラル文モデルの優れた性能への主要な貢献者ではないことを示唆しています。さらに分析した結果、重要な単語が最終表現に近い場合に樹構造モデルがより良い結果を与えることがわかりました。追加実験では、効果的な樹構造エンコーダーの設計方法に関するさらなる手がかりが得られました。私たちのコードはオープンソースであり、https://github.com/ExplorerFreda/TreeEnc で入手可能です。