InfiMM-WebMath-40B 数据集是由字节跳动和中国科学院的研究团队于 2024 年发布的，相关论文成果为「InfiMM-WebMath-40B: Advancing Multimodal Pre-Training for Enhanced Mathematical Reasoning」。

该数据集专门为数学推理任务设计的大型开源多模态数据集，包含 2.4k 万网页、 8.5k 万相关图像 URL 和 400 亿个 tokens，所有这些都经过精心提取和过滤，来自 CommonCrawl 数据库 (2019-2023) 。这个数据集的发布，为开源社区提供了一个宝贵的资源，以推进多模态大型语言模型 (MLLMs) 在数学推理方面的能力。

数据集的构建过程包括文本提取、语言过滤、高质量内容过滤、去重和图像 URL 的提取。通过这些步骤，确保了数据集的质量和相关性。在模型训练方面，InfiMM-WebMath-40B 数据集用于继续预训练，以增强模型在多模态设置中获取数学知识的能力。此外，还进行了指令微调，以进一步提高模型性能。