機関書籍 1.0 書籍データセット

Institutional Books 1.0 は、ハーバード大学が 2025 年に公開する予定のパブリック ドメイン書籍の拡大中のコーパスです。関連する論文の結果は次のとおりです。機関図書 1.0: ハーバード大学図書館のコレクションから抽出した 242B トークンのデータセット。正確性と使いやすさを向上。”。

このデータセットは、主に19世紀と20世紀に出版された、254言語のパブリックドメイン書籍983,004冊で構成されています。2,420億トークン、3億8,600万ページのテキストで構成されており、オリジナル形式と後処理済みOCRエクスポート形式の両方で利用可能です。