Réseau d'agrégation multi-patch profond pour l'estimation du style, de l'esthétique et de la qualité d'image

Cet article étudie les problèmes de style d’image, d’esthétique et d’estimation de qualité, qui nécessitent des détails fins provenant d’images haute résolution, en exploitant une approche d’apprentissage par réseaux neuronaux profonds. Les réseaux convolutionnels profonds existants extraient généralement une seule région (par exemple, une sous-région réduite) par image comme exemple d’apprentissage. Toutefois, une telle région peut ne pas toujours représenter adéquatement l’image entière, ce qui peut entraîner une ambiguïté pendant l’apprentissage. Nous proposons une nouvelle approche d’apprentissage par réseau neuronal profond à agrégation multi-régions, permettant d’entraîner des modèles à partir de plusieurs régions extraites d’une même image. Cela est réalisé en concevant plusieurs colonnes partagées dans le réseau neuronal et en alimentant chaque colonne avec plusieurs régions provenant de l’image. Plus important encore, nous introduisons deux nouvelles couches de réseau (couches de statistiques et de tri) pour soutenir l’agrégation de ces régions. Le réseau profond à agrégation multi-régions proposé intègre de manière unifiée l’apprentissage partagé de caractéristiques et l’apprentissage de fonctions d’agrégation. Nous démontrons l’efficacité de ce réseau sur trois problèmes : la reconnaissance du style d’image, la catégorisation de la qualité esthétique et l’estimation de la qualité d’image. Les modèles entraînés grâce au réseau proposé surpassent significativement l’état de l’art dans les trois applications.