InfiMM-WebMath-40B データセットは、2024 年に ByteDance と中国科学院の研究チームによってリリースされました。関連する論文の結果は次のとおりです。InfiMM-WebMath-40B: 数学的推論を強化するためのマルチモーダル事前トレーニングの推進”。

このデータセットは、数学的推論タスク用に特別に設計された大規模なオープンソース マルチモーダル データセットです。これには、2.4k の Web ページ、850 個の関連画像 URL、および 400 億個のトークンが含まれており、これらはすべて CommonCrawl データベースから慎重に抽出およびフィルタリングされています ( 2019 ～ 2023 年）。このデータセットのリリースは、数学的推論におけるマルチモーダル大規模言語モデル (MLLM) の機能を向上させるための貴重なリソースをオープン ソース コミュニティに提供します。

データセットの構築プロセスには、テキスト抽出、言語フィルタリング、高品質コンテンツ フィルタリング、重複排除、画像 URL 抽出が含まれます。これらの手順を通じて、データセットの品質と関連性が保証されます。モデルのトレーニングに関しては、InfiMM-WebMath-40B データセットを使用して事前トレーニングを継続し、マルチモーダル設定で数学的知識を獲得するモデルの能力を強化します。さらに、モデルのパフォーマンスをさらに向上させるために命令の微調整が行われました。