Sports-1M 数据集包含 100 多万个视频，视频是通过作者指定的 YouTube 网址获得的。

自数据集汇编以来，大约 7%（截至 2016 年）的视频已经被 YouTube 上传者删除。然而，数据集中仍包含超过一百万个视频，包含 487 个与体育相关的类别，每个类别有 1,000 到 3,000 个视频。通过分析与视频相关的文本元数据（如标签、描述），作者使用 YouTube 主题 API 将视频自动标记为 487 个体育类别。大约 5% 的视频被标注了一个以上的类别。