Der CHOCLO Latin American Culture Benchmark Dataset ist ein Benchmark-Datensatz, der zur Evaluierung lateinamerikanischer Kulturkenntnisse in Sprachmodellen entwickelt wurde. Er dient der Beurteilung der Genauigkeit von Sprachmodellen bei der Repräsentation der lateinamerikanischen Kultur und wurde speziell für die Behebung realer Probleme wie der Unterschätzung, Auslassung und Verzerrung lateinamerikanischer Kultur in Sprachmodellen konzipiert. Dieser Datensatz enthält strukturierte Einträge aus verschiedenen Kategorien und deckt sieben zentrale lateinamerikanische Kulturbereiche ab: Tradition, Küche, Persönlichkeiten des öffentlichen Lebens, Geografie, Tiere, Pflanzen und Kulturerbe. Er umfasst Daten aus 18 lateinamerikanischen Ländern, darunter Chile, Mexiko und Argentinien, und bietet so eine umfassende Darstellung der vielfältigen Kulturlandschaft Lateinamerikas. Der Datensatz basiert auf Wikipedia-Textbeschreibungen und verwendet mehrstufige Filter- und manuelle Prüfverfahren, um Datenqualität und kulturelle Angemessenheit zu gewährleisten. Datenfelder:

• EntityEntitätsname
• CountryHerkunftsland der Organisation
• CategoryPhysische Kategorien (wie Essen, Tradition, Persönlichkeiten des öffentlichen Lebens usw.)
• DifficultySchwierigkeitsgrad der Frage (leicht, mittel, schwer)
• QuestionZum Thema der Entitätsgenerierung
• AnswerErwartete Antwort