Durch große Datensätze, beispielsweise ImageNet, wurden durch unüberwachtes Lernen auf großskaligen Daten erhebliche Fortschritte bei Klassifizierungsaufgaben ermöglicht. Ob jedoch eine großskalige unüberwachte semantische Segmentierung realisierbar ist, bleibt bisher unklar. Zwei Haupthindernisse bestehen hierbei: i) Es fehlt ein großskaliger Benchmark zur Bewertung von Algorithmen; ii) Es bedarf der Entwicklung von Methoden, die gleichzeitig Kategorien- und Formrepräsentationen unüberwacht lernen können. In dieser Arbeit stellen wir ein neues Problem der großskaligen unüberwachten semantischen Segmentierung (LUSS) mit einem neu erstellten Benchmark-Datensatz vor, um den Forschungsfortschritt zu unterstützen. Aufbauend auf dem ImageNet-Datensatz präsentieren wir den ImageNet-S-Datensatz mit 1,2 Millionen Trainingsbildern und 50.000 hochwertigen semantischen Segmentierungsannotierungen zur Evaluierung. Unser Benchmark zeichnet sich durch hohe Datenvielfalt und eine klare Aufgabenstellung aus. Außerdem stellen wir eine einfache, jedoch äußerst effektive Methode vor, die erstaunlich gut für LUSS funktioniert. Zudem benchmarken wir entsprechende un-, schwach- und vollständig überwachte Methoden, um die bestehenden Herausforderungen und mögliche Forschungsrichtungen für LUSS zu identifizieren. Der Benchmark und der Quellcode sind öffentlich unter https://github.com/LUSSeg verfügbar.