L'ensemble de données Pinocchio a été créé conjointement par des chercheurs de l'Université Tsinghua, de l'Université de l'Illinois à Chicago et de l'Université de Cambridge. Son objectif est d’évaluer de manière exhaustive les performances des grands modèles de langage (LLM) en matière de stockage de connaissances factuelles et de capacités de raisonnement. **Cet ensemble de données couvre 20 000 questions factuelles diverses couvrant différentes sources, chronologies, domaines, régions et langues.**L'ensemble de données contient 7 tâches différentes pour tester la capacité des LLM à raisonner de manière multi-factuelle, à traiter des connaissances structurées et non structurées, à identifier des différences factuelles subtiles et à résister aux exemples contradictoires. Pinocchio fournit aux chercheurs un outil puissant pour comprendre les capacités des modèles à plusieurs niveaux tout en faisant progresser le développement des LLM en termes de connaissances factuelles.

Citation

Veuillez utiliser l'entrée BibTeX ci-dessous pour citer cet ensemble de données :

@article{HuPino2023,
auteur = {Xumming Hu et
Junzhe Chen et
Xiaochuan Li et
Yufei Guo et
Lijie Wen et
Philip S. Yu et
Zhijiang Guo},
titre = {Vers une compréhension des connaissances factuelles des grands modèles de langage},
Journal = {12e Conférence internationale sur les représentations d'apprentissage, ICLR 2024, Messe Wien, Centre des expositions et des congrès de Vienne, Autriche}
Du 7 mai 2024 au 11 mai 2024},
volume = {2024},
année = {2024},
url = {https://doi.org/10.48550/arXiv.2310.05177},
est ce que je = {10.48550/ARXIV.2310.05177},
eprinttype = {arXiv},
eprint = {2310.05177},
horodatage = {ven., 20 oct. 2023 12:04:38 +0200},
biburl = {https://dblp.org/rec/journals/corr/abs-2310-05177.bib},
bibsource = {bibliographie en informatique dblp, https://dblp.org}
}