Re-IQA: Unüberwachtes Lernen für die Bildqualitätsbewertung in der Wildnis

Die automatische perceptuelle Bildqualitätsbewertung ist ein herausforderndes Problem, das täglich Milliarden von Internet- und sozialen Medien-Nutzern betrifft. Um die Forschung auf diesem Gebiet voranzutreiben, schlagen wir einen Mixture-of-Experts-Ansatz vor, um zwei getrennte Encoder im unsupervisierten Setting darauf zu trainieren, hochwertige Inhaltseigenschaften sowie niedrigwertige Bildqualitätsmerkmale zu lernen. Der einzigartige Innovationsgehalt unseres Ansatzes liegt in der Fähigkeit, niedrigwertige Darstellungen der Bildqualität zu generieren, die ergänzend zu hochwertigen Merkmalen, die den Bildinhalt repräsentieren, sind. Wir bezeichnen das dafür verwendete Framework zur gemeinsamen Ausbildung der beiden Encoder als Re-IQA. Für die Bildqualitätsbewertung in natürlichen, unkontrollierten Umgebungen (in the Wild) setzen wir die komplementären niedrig- und hochwertigen Bildrepräsentationen, die aus dem Re-IQA-Framework gewonnen wurden, ein, um ein lineares Regressionsmodell zu trainieren, das die Bildrepräsentationen auf die tatsächlichen Qualitätsbewertungen abbildet (siehe Abbildung 1). Unser Ansatz erreicht state-of-the-art-Leistung auf mehreren großen, umfassenden Datensätzen zur Bildqualitätsbewertung, die sowohl echte als auch synthetische Verzerrungen enthalten, und zeigt auf, wie tiefe neuronale Netze im unsupervisierten Setting trainiert werden können, um perceptuell relevante Darstellungen zu erzeugen. Aus unseren Experimenten ergibt sich, dass die gewonnenen niedrig- und hochwertigen Merkmale tatsächlich komplementär sind und die Leistung des linearen Regressors positiv beeinflussen. Eine öffentliche Veröffentlichung aller mit dieser Arbeit verbundenen Quellcodes wird auf GitHub zur Verfügung gestellt werden.