Ensemble De Données D'intelligence Culturelle Et Linguistique Coréennes CLicK

L'ensemble de données CLIcK a été créé par l'Institut coréen avancé des sciences et technologies pour combler le vide dans l'évaluation des connaissances culturelles et linguistiques pour les grands modèles coréens. L'ensemble de données contient 1 995 paires d'échantillons de questions-réponses provenant d'examens et de manuels officiels coréens, couvrant deux grandes catégories : la langue et la culture, qui sont divisées en 11 sous-catégories. Chaque échantillon fournit des annotations détaillées indiquant les connaissances culturelles et linguistiques requises pour répondre à la question.

Avec l'autorisation officielle, l'équipe de recherche a extrait des questions de six examens coréens et d'un manuel, et a utilisé GPT-4 pour générer de nouvelles questions, garantissant l'originalité et la pertinence culturelle du contenu. Après un examen manuel rigoureux et une classification, CLIcK a finalement constitué une référence d’évaluation de la langue coréenne de haute qualité. En tant que référence importante pour évaluer les capacités de compréhension culturelle et linguistique des modèles de langue coréenne, cet ensemble de données fournit un support de données solide pour promouvoir la recherche dans des domaines connexes.