得益于大规模数据集（如ImageNet）的支持，基于大规模数据的无监督学习已在分类任务中取得了显著进展。然而，大规模无监督语义分割是否能够实现仍是一个未知问题。该领域面临两大主要挑战：其一，亟需建立一个大规模基准数据集以评估各类算法性能；其二，需要开发能够无监督地同时学习类别与形状表征的方法。为此，本文提出了一项新的研究问题——大规模无监督语义分割（Large-scale Unsupervised Semantic Segmentation, LUSS），并构建了一个全新的基准数据集以推动该领域的研究进展。基于ImageNet数据集，我们提出了ImageNet-S数据集，包含120万张训练图像以及5万张高质量的语义分割标注，用于模型评估。该基准数据集具有高度的数据多样性，并具备明确的任务目标。此外，我们提出了一种简单但效果显著的方法，在LUSS任务上表现优异，令人惊喜。同时，我们还对相关无监督、弱监督及全监督方法进行了系统性对比评估，深入分析了当前面临的挑战，并指出了未来可能的研究方向。该基准数据集及源代码已公开发布，访问地址为：https://github.com/LUSSeg。