Command Palette

Search for a command to run...

4ヶ月前

FactSpotter:グラフからテキスト生成の事実的整合性を評価する

{Ioana Manolescu Oana Balalau Kun Zhang}

FactSpotter:グラフからテキスト生成の事実的整合性を評価する

要約

グラフからテキスト(G2T)生成は、グラフを入力として受け取り、そのグラフに含まれる情報を流れよくかつ正確に表現するテキストを生成することを目的とする。このタスクは、対話生成や質問応答など、多岐にわたる応用が可能である。本研究では、これまでに検討されたデータセットにおいてG2T生成問題がどの程度解決されているか、また、生成されたテキスト同士を比較する際に提案された評価指標がいかに有効であるかを検討する。これらの指標の限界を補うために、我々は新たな評価指標「FactSpotter」を提案する。この指標は、三項組(主語、述語、目的語)に対して、その内容が生成されたテキストに正しく反映されているかどうかを正確に判定できる。実験の結果、FactSpotterはデータの正確性、カバレッジ、関連性に関する人間のアノテーションと最も高い相関を示した。さらに、FactSpotterは既存モデルの事実的な忠実性を向上させるためのプラグイン機能として活用可能である。最後に、最先端モデルにとって現存するG2Tデータセットが依然として挑戦的な課題であるかどうかを検証した。本研究のコードは公開されており、以下から入手可能である:https://github.com/guihuzhang/FactSpotter

ベンチマーク

ベンチマーク方法論指標
data-to-text-generation-on-dartT5-B Baseline
BLEU: 48.47
BLEURT: 67.49
METEOR: 40.74
data-to-text-generation-on-webnlgT5-B Baseline
BLEU: 67.04
BLEURT: 73.22
METEOR: 48.35
data-to-text-generation-on-webnlgJointGT Baseline
BLEU: 67.08
BLEURT: 73.44
METEOR: 48.34

AI で AI を構築

アイデアからローンチまで — 無料の AI 共同コーディング、すぐに使える環境、最適価格の GPU で AI 開発を加速。

AI 共同コーディング
すぐに使える GPU
最適価格
今すぐ始める

Hyper Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています
FactSpotter:グラフからテキスト生成の事実的整合性を評価する | 論文 | HyperAI超神経