Die Hauptausforderung bei der Anwendung modernster Tiefenlernmethoden zur Vorhersage der Bildqualität in natürlichen Umgebungen ist die relativ geringe Größe bestehender Datensätze mit Qualitätsbewertungen. Der Grund für das Fehlen größere Datensätze liegt in den enormen Ressourcen, die für die Erstellung vielfältiger und publizierbarer Inhalte erforderlich sind. Wir präsentieren einen neuen systematischen und skalierbaren Ansatz zur Erstellung groß angelegter, authentischer und vielfältiger Bilddatensätze für die Bildqualitätsbewertung (IQA). Wir zeigen, wie wir eine IQA-Datenbank namens KonIQ-10k erstellt haben, die 10.073 Bilder umfasst, auf denen wir sehr große Crowdsourcing-Experimente durchgeführt haben, um verlässliche Qualitätsbewertungen von 1.467 Crowd-Workern (1,2 Millionen Bewertungen) zu erhalten. Wir argumentieren für ihre ökologische Validität durch die Analyse der Vielfalt des Datensatzes, durch den Vergleich mit anderen state-of-the-art IQA-Datenbanken und durch die Überprüfung der Zuverlässigkeit unserer Nutzerstudien.