Bewertung der Wahrnehmungsqualität von Smartphone-Fotografie
{ Zhou Wang Kede Ma Yan Zeng Hanwei Zhu Yuming Fang}

Abstract
Mit der zunehmenden Verwendung von Smartphones als primären Kameras zur Bildaufnahme ist die Qualität der Kamerahardware sowie der zugehörigen rechnerischen Fotografie-Module zu einem faktischen Standard geworden, um Smartphones auf dem Konsummarkt zu bewerten und zu klassifizieren. Wir präsentieren bislang die umfassendste Studie zur wahrnehmungsbezogenen Bewertung der Bildqualität in der Smartphone-Fotografie. Dazu stellen wir die Smartphone Photography Attribute and Quality (SPAQ)-Datenbank vor, die aus 11.125 Bildern besteht, die mit 66 verschiedenen Smartphones aufgenommen wurden, wobei jedes Bild mit bisher reichhaltigsten Annotationen versehen ist. Insbesondere sammeln wir in einem gut kontrollierten Laborumfeld eine Vielzahl menschlicher Bewertungen pro Bild, darunter die Gesamtqualität, bildspezifische Attribute (Helligkeit, Farbintensität, Kontrast, Rauschgrad und Schärfe) sowie Szenen-Kategorielabel (Tier, Stadtbild, Mensch, Innenraum, Landschaft, Nachtaufnahme, Pflanze, Stillleben und andere). Zudem werden die EXIF-Daten aller Bilder erfasst, um eine tiefere Analyse zu ermöglichen. Wir führen erstmals Versuche durch, die Datenbank zur Schulung von blinden Bildqualitätsbewertungsmodellen (Blind Image Quality Assessment, BIQA) zu nutzen, die auf Basis- und mehrfachaufgabenbasierten tiefen neuronalen Netzen aufgebaut sind. Die Ergebnisse liefern wertvolle Erkenntnisse darüber, wie EXIF-Daten, bildspezifische Attribute und hochwertige Semantik miteinander interagieren, wie zukünftige BIQA-Modelle entworfen werden können und wie rechnerische Fotografiesysteme auf mobilen Geräten optimiert werden können. Die Datenbank sowie die vorgeschlagenen BIQA-Modelle sind unter https://github.com/h4nwei/SPAQ verfügbar.
Benchmarks
| Benchmark | Methodik | Metriken |
|---|---|---|
| image-quality-assessment-on-msu-nr-vqa | SPAQ BL | KLCC: 0.7106 PLCC: 0.8855 SRCC: 0.8799 |
| image-quality-assessment-on-msu-nr-vqa | SPAQ MT-A | KLCC: 0.7148 PLCC: 0.8824 SRCC: 0.8794 |
| image-quality-assessment-on-msu-nr-vqa | SPAQ MT-S | KLCC: 0.7186 PLCC: 0.8814 SRCC: 0.8822 |
| video-quality-assessment-on-msu-video-quality | SPAQ MT-S | KLCC: 0.7186 PLCC: 0.8814 SRCC: 0.8822 Type: NR |
| video-quality-assessment-on-msu-video-quality | SPAQ MT-A | KLCC: 0.7148 PLCC: 0.8824 SRCC: 0.8794 Type: NR |
| video-quality-assessment-on-msu-video-quality | SPAQ BL | KLCC: 0.7106 PLCC: 0.8855 SRCC: 0.8799 Type: NR |
KI mit KI entwickeln
Von der Idee bis zum Start — beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und den besten GPU-Preisen.