Command Palette
Search for a command to run...
{Zheng Zhang Xipeng Qiu Qipeng Guo Zhijing Jin}

要約
知識グラフからテキストを生成するためのデータ収集は費用が高いため、近年、教師なしモデルに関する研究が活発化している。しかし、大多数の教師なしモデルは、既存の小規模な教師付きデータセットの平行していないバージョンを用いる必要があり、その可能性を大きく制限している。本論文では、大規模かつ汎用的なドメインを対象としたデータセット「GenWiki」を提案する。本研究で用いる教師なしデータセットは、それぞれ130万件のテキスト例とグラフ例を含む。また、人間によるアノテーションが施されたテストセットを併せて提供することで、今後の知識グラフからの教師なしテキスト生成に関する研究のための新たなベンチマークデータセットを提供する。
ベンチマーク
| ベンチマーク | 方法論 | 指標 |
|---|---|---|
| unsupervised-kg-to-text-generation-on-genwiki | CycleGT_Warm | BLEU: 41.35 CIDEr: 3.45 METEOR: 35.20 ROUGE-L: 63.01 |
| unsupervised-kg-to-text-generation-on-genwiki | Rule-Based | BLEU: 13.45 CIDEr: 1.26 METEOR: 30.72 ROUGE-L: 40.93 |
| unsupervised-kg-to-text-generation-on-genwiki | NoisySupervised | BLEU: 30.12 CIDEr: 2.52 METEOR: 28.12 ROUGE-L: 56.96 |
| unsupervised-kg-to-text-generation-on-genwiki | CycleGT_Base | BLEU: 41.59 CIDEr: 3.57 METEOR: 35.72 ROUGE-L: 63.31 |
| unsupervised-kg-to-text-generation-on-genwiki | DirectTransfer | BLEU: 13.89 CIDEr: 1.26 METEOR: 25.76 ROUGE-L: 39.75 |
| unsupervised-kg-to-text-generation-on-genwiki-1 | CycleGT_Warm | BLEU: 40.47 CIDEr: 3.48 METEOR: 34.84 ROUGE-L: 63.40 |
| unsupervised-kg-to-text-generation-on-genwiki-1 | CycleGT_Base | BLEU: 41.29 CIDEr: 3.53 METEOR: 35.39 ROUGE-L: 63.73 |
| unsupervised-kg-to-text-generation-on-genwiki-1 | DirectTransfer | BLEU: 13.89 CIDEr: 1.26 METEOR: 25.76 ROUGE-L: 39.75 |
| unsupervised-kg-to-text-generation-on-genwiki-1 | Rule-Based | BLEU: 13.45 CIDEr: 1.26 METEOR: 30.72 ROUGE-L: 40.93 |
| unsupervised-kg-to-text-generation-on-genwiki-1 | NoisySupervised | BLEU: 35.03 CIDEr: 2.63 METEOR: 33.45 ROUGE-L: 58.14 |