CHOCLOラテンアメリカ文化ベンチマークデータセットは、言語モデルにおけるラテンアメリカ文化の知識を評価するために設計されたベンチマークデータセットです。このデータセットは、言語モデルがラテンアメリカ文化をどの程度正確に表現しているかを評価することを目的としており、特に言語モデルにおけるラテンアメリカ文化の過小評価、欠落、偏りといった現実世界の課題に対処するように設計されています。 このデータセットには、ラテンアメリカの7つの主要な文化カテゴリー（伝統、料理、著名人、地理、動物、植物、文化遺産）を網羅した、複数のカテゴリーにわたる構造化されたインスタンスが含まれています。また、チリ、メキシコ、アルゼンチンなど18のラテンアメリカ諸国のデータも含まれており、ラテンアメリカの多様な文化景観を包括的にカバーしています。このデータセットはWikipediaのテキスト記述に基づいて構築されており、データ品質と文化的妥当性を確保するために、多段階のフィルタリングと手動検証戦略を採用しています。

データフィールド:

• エンティティ: エンティティ名
• 国：事業体が所在する国
• カテゴリ：エンティティのカテゴリ（例：食品、伝統、著名人など）
• 難易度：問題の難易度（易しい、中程度、難しい）
• 質問：エンティティ生成の問題に関して
• 回答：予想通りの回答