Le principal défi dans l'application des méthodes de deep learning les plus avancées pour prédire la qualité des images en conditions réelles est la taille relativement petite des jeux de données existants avec des scores de qualité. La raison de cette absence de jeux de données plus importants est liée aux ressources considérables nécessaires pour générer du contenu diversifié et publiable. Nous présentons une nouvelle approche systématique et évolutive pour créer des jeux de données d'images à grande échelle, authentiques et diversifiés pour l'évaluation de la qualité des images (IQA). Nous expliquons comment nous avons construit une base de données IQA, KonIQ-10k, composée de 10 073 images, sur laquelle nous avons mené des expériences de crowdsourcing à très grande échelle afin d'obtenir des évaluations fiables de la qualité par 1 467 travailleurs du web (1,2 million d'évaluations). Nous défendons sa validité écologique en analysant la diversité du jeu de données, en le comparant aux bases de données IQA les plus avancées actuellement disponibles, et en vérifiant la fiabilité de nos études utilisateurs.