ProCQA 基于社区的编程问答数据集

ProCQA 是一个由北京航空航天大学创建的大规模编程问答数据集，包含约 500 万个问答对，涵盖 Python 、 Java 、 JavaScript 等 11 种不同的编程语言。这些问答涉及算法、框架、库的使用等多个知识领域，数据来源于 StackOverflow 社区，研究人员通过爬虫技术获取，采用了严格的规则过滤策略，包括过滤过短或过长的问答以及只保留被提问者接受的答案等，以确保数据的质量和公平性。 ProCQA 中的问答对是自然结构化的混合模态，即文本和代码在问答字段中交织在一起，为模型提供了自然监督信号，有助于对齐两种模态。该数据集可广泛应用于评估基准和预训练语料库，为代码检索和问答任务提供了重要的资源。