Ce référentiel contient des données et des scripts d'évaluation pour le benchmark HalluQA (Chinese Halluciated Question Answering). Les données complètes de HalluQA se trouvent dans HalluQA.json. L'article présentant HalluQA et les résultats expérimentaux détaillés de plusieurs grands modèles linguistiques pour le chinois sont disponibles à l'adresseici. HalluQA contient 450 questions contradictoires soigneusement conçues couvrant plusieurs domaines et prenant en compte la culture historique, les coutumes et les phénomènes sociaux chinois.

Citation

@article{DBLP:journals/corr/abs-2310-03368,
author       = {Qinyuan Cheng and
Tianxiang Sun and
Wenwei Zhang and
Siyin Wang and
Xiangyang Liu and
Mozhi Zhang and
Junliang He and
Mianqiu Huang and
Zhangyue Yin and
Kai Chen and
Xipeng Qiu},
title        = {Evaluating Hallucinations in Chinese Large Language Models},
journal      = {CoRR},
volume       = {abs/2310.03368},
year         = {2023},
url          = {https://doi.org/10.48550/arXiv.2310.03368},
doi          = {10.48550/arXiv.2310.03368},
eprinttype    = {arXiv},
eprint       = {2310.03368},
timestamp    = {Thu, 19 Oct 2023 13:12:52 +0200},
biburl       = {https://dblp.org/rec/journals/corr/abs-2310-03368.bib},
bibsource    = {dblp computer science bibliography, https://dblp.org}
}