GenWiki: Ein Datensatz mit 1,3 Millionen Inhaltsteilungstexten und -graphen für die überwachungsfreie Graph-to-Text-Generierung
{Zheng Zhang Xipeng Qiu Qipeng Guo Zhijing Jin}
Abstract
Die Datensammlung für die Generierung von Text aus Wissensgraphen ist kostenaufwendig. Infolgedessen ist in letzter Zeit ein aktiver Forschungsbereich im Bereich unsupervisierter Modelle entstanden. Die meisten dieser unsupervisierten Modelle müssen jedoch nicht-parallele Versionen bestehender kleiner supervisierter Datensätze verwenden, was ihre Potenziale erheblich einschränkt. In diesem Paper stellen wir einen großskaligen, allgemein-domänenübergreifenden Datensatz namens GenWiki vor. Unser unsupervisierter Datensatz umfasst jeweils 1,3 Millionen Text- und Graph-Beispiele. Mit einer menschlich annotierten Testmenge bieten wir diese neue Benchmark-Datensammlung für zukünftige Forschungsarbeiten zur unsupervisierten Textgenerierung aus Wissensgraphen an.
Benchmarks
| Benchmark | Methodik | Metriken |
|---|---|---|
| unsupervised-kg-to-text-generation-on-genwiki | CycleGT_Warm | BLEU: 41.35 CIDEr: 3.45 METEOR: 35.20 ROUGE-L: 63.01 |
| unsupervised-kg-to-text-generation-on-genwiki | Rule-Based | BLEU: 13.45 CIDEr: 1.26 METEOR: 30.72 ROUGE-L: 40.93 |
| unsupervised-kg-to-text-generation-on-genwiki | NoisySupervised | BLEU: 30.12 CIDEr: 2.52 METEOR: 28.12 ROUGE-L: 56.96 |
| unsupervised-kg-to-text-generation-on-genwiki | CycleGT_Base | BLEU: 41.59 CIDEr: 3.57 METEOR: 35.72 ROUGE-L: 63.31 |
| unsupervised-kg-to-text-generation-on-genwiki | DirectTransfer | BLEU: 13.89 CIDEr: 1.26 METEOR: 25.76 ROUGE-L: 39.75 |
| unsupervised-kg-to-text-generation-on-genwiki-1 | CycleGT_Warm | BLEU: 40.47 CIDEr: 3.48 METEOR: 34.84 ROUGE-L: 63.40 |
| unsupervised-kg-to-text-generation-on-genwiki-1 | CycleGT_Base | BLEU: 41.29 CIDEr: 3.53 METEOR: 35.39 ROUGE-L: 63.73 |
| unsupervised-kg-to-text-generation-on-genwiki-1 | DirectTransfer | BLEU: 13.89 CIDEr: 1.26 METEOR: 25.76 ROUGE-L: 39.75 |
| unsupervised-kg-to-text-generation-on-genwiki-1 | Rule-Based | BLEU: 13.45 CIDEr: 1.26 METEOR: 30.72 ROUGE-L: 40.93 |
| unsupervised-kg-to-text-generation-on-genwiki-1 | NoisySupervised | BLEU: 35.03 CIDEr: 2.63 METEOR: 33.45 ROUGE-L: 58.14 |
KI mit KI entwickeln
Von der Idee bis zum Start — beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und den besten GPU-Preisen.