1.1 T 的 arXiv 数据集:170 万篇论文,可以看到下辈子

近日,arXiv 将 170 万+ 篇的论文,打包成数据集,放在了 kaggle 平台,以后访问和下载论文,就更方便了。该数据集目前大小 1.1 TB 左右,而且之后还会随着每周的更新持续增长。

170 万+ 篇学术论文,1.1 TB 大小,这是 arXix 最近在 kaggle 开放的一套数据集,网友问讯惊呼:太酷了!

网友评论区纷纷捧场:太棒了!

数据集整理团队表示,希望能以此激发相关研究者,探索更丰富的机器学习技术,提出更多的发现和创新。

开放数据集,让论文搜索更简单

近 30 年来,arXiv 为公众和研究团队提供学术文章的开放访问渠道,这些学术论文涵盖的领域极为广泛,从物理学的庞大分支,到计算机科学的众多分支,再到数学、统计学、电子工程、定量生物学和经济学等所有学科。

这些 arXiv 上大量的研究论文,虽然很多人从中获益,但也经常有人反映,它存在浏览、搜索和排序不方便等缺点。甚至有人还专门找到一些在 arXiv 上搜论文的技巧分享出来。

于是,为了让 arXiv 更加易于访问,康奈尔大学现在在 Kaggle 上提供了一个免费、开放的 arXiv 数据集。

康奈尔大学发表博文宣布这一消息

该数据集包含了 170 万篇学术论文,还包含了论文相关的元素(features),例如文章标题、作者、类别、摘要以及全文 PDF 等。

arXiv 执行董事 Eleonora Presani 介绍说:「在 Kaggle 上拥有整个 arXiv 语料库,极大地增加了 arXiv 论文的潜力。通过在 Kaggle 上提供数据集,我们不再只是让大家通过阅读这些文章学到知识,更重要的是,将 arXiv 背后的数据和信息,以机器可读的格式提供给公众。」

Eleonora Presani 是 arXiv 的第一任执行董事

Presani 还说:「arXiv 不仅仅是一个论文库,它还是一个知识共享的平台。这要求我们在展示和解释可用知识的方式上,不断创新。而 Kaggle 用户可以帮助突破这一创新的极限,它成为了我们进行社区协作的新渠道。」

围观:arXiv 数据集都包括些啥?

arXiv 数据集基本信息如下:

arXiv Dataset

发布人员: Paul Ginsparg,Moonshot Factory,Jack Hidary

包含数量:170 万+  篇学术论文

数据格式:json

数据大小:1.1 TB

发布时间:2020 年 8  月

下载地址:https://www.kaggle.com/Cornell-University/arxiv

目前,arXiv 数据集提供了 json 格式的元数据文件,它包含每篇论文的相关条目,具体如下:

  • id:论文访问地址,可用于访问论文;
  • submitter:论文提交者;
  • authors:论文作者;
  • title:论文标题;
  • comments:论文页数和图表等其它信息;
  • journal-ref:论文发表的期刊信息;
  • doi:数字对象标识符;
  • abstract:论文摘要;
  • categories:论文在 arXiv 所属类别或标签;
  • versions:论文版本。

可以轻松地在这些浩如烟海的论文中进行遍历、筛选、查阅。

数据集目前已更新了 5 个版本

此外,用户还可以通过以下两个链接直接在 arXiv 上访问每篇论文:

  • https://arxiv.org/abs/{id}:论文页面,包括摘要和其他链接;
  • https://arxiv.org/pdf/{id}:论文 PDF 下载页面。

还可以批量访问:用户可以在谷歌云存储上的 bucket gs://arxiv-dataset 上免费获取完整的 PDF 文件,或通过谷歌 API(json documentation 和 xml documentation)来获取。

论文 PDF 文件被分组到 tarpdfs 文件夹的几个 .tar.gz 文件中,整套数据集大约有 1.1TB 大小。具体如下所示(以下分别是 2010 年 1 月(1001)的 1、2、3 部分字段):

tarpdfs/arXiv_pdf_1001_001.tar.gz  (gs://arxiv-dataset/tarpdfs/arXiv_pdf_1001_001.tar.gz)tarpdfs/arXiv_pdf_1001_002.tar.gz  (gs://arxiv-dataset/tarpdfs/arXiv_pdf_1001_002.tar.gz)tarpdfs/arXiv_pdf_1001_003.tar.gz  (gs://arxiv-dataset/tarpdfs/arXiv_pdf_1001_003.tar.gz)

用户还可以使用 gsutil 之类的工具,将数据下载到本地计算机。

数据集中的元数据示例

不过,这个数据集具体有哪些使用场景呢?很多网友已经有了想法,比如主题建模、用该数据训练 GPT-3 等。

arXiv:巨大的学术论文资源库

科研学术圈的同学,对 arXiv 一定都不陌生。

它是一个收集物理学、数学、计算机科学与生物学论文预印本的网站,不仅为广大科研人员提供了一个 idea「占坑」的平台,也是大家搜索、阅读论文的巨大资源库。

截至 2008 年 10 月,arXiv.org 已收集超过 50 万篇预印本;至 2014 年底,其藏量达到 100 万篇;截至 2016 年 10 月,arXiv 提交量每月已经超过 10000 篇。

目前 arXiv 上的学术论文已经有约 174.46 万篇

arXiv 最早是由物理学家保罗·金斯巴格,在 1991 年建立的网站,本意是收集物理学的论文预印本,随后括及天文、数学等其它领域。

arXiv 原先挂在洛斯阿拉莫斯国家实验室 (LANL),因此早期被称为「LANL 预印本数据库」。目前 arXiv 落脚于康奈尔大学,并在全球各地设有镜像站点。网站在 1999 年改名为 arXiv.org。

现在,用通俗的话来说,arXiv 就是一个用来「占坑」的网站,研究者们为了防止自己的 idea 在论文被收录之前被别人剽窃,就会将预稿先发表在 arXiv 上,以证明自己的原创性。

参考资料:

https://www.kaggle.com/Cornell-University/arxiv?select=arxiv-metadata-oai-snapshot.json

https://zh.wikipedia.org/wiki/ArXiv

—— 完 ——