要約
グラフからテキスト（G2T）生成は、グラフを入力として受け取り、そのグラフに含まれる情報を流れよくかつ正確に表現するテキストを生成することを目的とする。このタスクは、対話生成や質問応答など、多岐にわたる応用が可能である。本研究では、これまでに検討されたデータセットにおいてG2T生成問題がどの程度解決されているか、また、生成されたテキスト同士を比較する際に提案された評価指標がいかに有効であるかを検討する。これらの指標の限界を補うために、我々は新たな評価指標「FactSpotter」を提案する。この指標は、三項組（主語、述語、目的語）に対して、その内容が生成されたテキストに正しく反映されているかどうかを正確に判定できる。実験の結果、FactSpotterはデータの正確性、カバレッジ、関連性に関する人間のアノテーションと最も高い相関を示した。さらに、FactSpotterは既存モデルの事実的な忠実性を向上させるためのプラグイン機能として活用可能である。最後に、最先端モデルにとって現存するG2Tデータセットが依然として挑戦的な課題であるかどうかを検証した。本研究のコードは公開されており、以下から入手可能である：https://github.com/guihuzhang/FactSpotter。