Dieses Repository enthält Daten und Auswertungsskripte für den HalluQA-Benchmark (Chinese Halluciated Question Answering). Die vollständigen Daten von HalluQA befinden sich in HalluQA.json. Das Papier zur Einführung von HalluQA und detaillierte experimentelle Ergebnisse mehrerer großer Sprachmodelle für Chinesisch sind verfügbar unterHier. HalluQA enthält 450 sorgfältig gestaltete, kontroverse Fragen, die mehrere Bereiche abdecken und die chinesische historische Kultur, Bräuche und soziale Phänomene berücksichtigen.

Zitat

@article{DBLP:journals/corr/abs-2310-03368,
author       = {Qinyuan Cheng and
Tianxiang Sun and
Wenwei Zhang and
Siyin Wang and
Xiangyang Liu and
Mozhi Zhang and
Junliang He and
Mianqiu Huang and
Zhangyue Yin and
Kai Chen and
Xipeng Qiu},
title        = {Evaluating Hallucinations in Chinese Large Language Models},
journal      = {CoRR},
volume       = {abs/2310.03368},
year         = {2023},
url          = {https://doi.org/10.48550/arXiv.2310.03368},
doi          = {10.48550/arXiv.2310.03368},
eprinttype    = {arXiv},
eprint       = {2310.03368},
timestamp    = {Thu, 19 Oct 2023 13:12:52 +0200},
biburl       = {https://dblp.org/rec/journals/corr/abs-2310-03368.bib},
bibsource    = {dblp computer science bibliography, https://dblp.org}
}