OpenWebMath は、インターネットからの高品質な数学テキストを主に含むデータセットです。これは、Common Crawl 上の 200B を超える HTML ファイルからフィルタリングおよび抽出され、合計 147 億のトークンを含む 630 万のドキュメントのセットが生成されます。 OpenWebMath は、事前トレーニングおよび微調整大規模な言語モデル。

引用

@misc{paster2023openwebmath、 タイトル={OpenWebMath: 高品質な数学ウェブテキストのオープンデータセット} 著者={ケイラン・パスター、マルコ・ドス・サントス、ジャンギル・アゼルバエフ、ジミー・バ}、 年={2023}、 eprint={2310.06786}、 archivePrefix={arXiv}、 primaryClass={cs.AI} }