Der CLicK-Datensatz wurde vom Korea Advanced Institute of Science and Technology erstellt, um die Lücke bei der Bewertung kultureller und sprachlicher Kenntnisse für große koreanische Modelle zu schließen. Der Datensatz enthält 1.995 Paar Frage-Antwort-Beispiele aus offiziellen koreanischen Prüfungen und Lehrbüchern und deckt zwei Hauptkategorien ab: Sprache und Kultur, die in 11 Unterkategorien unterteilt sind. Jede Probe enthält detaillierte Anmerkungen, die auf die kulturellen und sprachlichen Kenntnisse hinweisen, die zur Beantwortung der Frage erforderlich sind.

Mit offizieller Genehmigung extrahierte das Forschungsteam Fragen aus sechs koreanischen Prüfungen und einem Lehrbuch und verwendete GPT-4, um neue Fragen zu generieren und so die Originalität und kulturelle Relevanz des Inhalts sicherzustellen. Nach einer gründlichen manuellen Überprüfung und Klassifizierung hat CLicK schließlich einen hochwertigen Maßstab für die Bewertung der koreanischen Sprache entwickelt. Als wichtiger Maßstab für die Bewertung der kulturellen und sprachlichen Verständnisfähigkeiten koreanischer Sprachmodelle bietet dieser Datensatz eine solide Datenunterstützung für die Förderung der Forschung in verwandten Bereichen.