LCCC 大型清洁汉语会话语料库

LCCC（全称为 Large-scale Cleaned Chinese Conversation corpus）由清华大学和三星中国研究院于 2020 年发布。

数据集主要包含两部分：LCCC-base（680 万个对话）和 LCCC-large（1200 万个对话）。研究团队设计了一套严格的数据过滤流程来确保该数据集中对话数据的质量，该流程基于一组规则和一个在手动注释的 110K 个对话对上训练的分类器构建。研究团队所过滤的噪声包括：脏文字、特殊的字符、表情、语法不通的语句、上下文不相关的对话等。清理后的数据集和预训练模型将促进短文本对话建模的研究。