2ヶ月前
A-Lamp: 写真の美しさ評価に向けた適応的なレイアウト認識マルチパッチ深層畳み込みニューラルネットワーク
Ma, Shuang ; Liu, Jing ; Chen, Chang Wen

要約
深層畳み込みニューラルネットワーク(CNN)は最近、美しさ評価において有望な結果を示しています。しかし、これらの深層CNN手法の性能は、ニューラルネットワークが固定サイズの入力しか受け付けないという制約によってしばしば損なわれています。この要件に対応するために、入力画像は切り取り、変形、またはパディングなどの処理を経る必要がありますが、これらの処理は画像の構成を変更し、解像度を低下させたり、画像の歪みを引き起こしたりすることがあります。したがって、微細な詳細と全体的な画像レイアウトが損なわれることで、元の画像の美しさが潜在的な情報損失により損なわれる可能性があります。しかし、このような微細な詳細と全体的な画像レイアウトは、画像の美しさを評価する上で極めて重要です。本論文では、写真の美しさ評価に向けた適応的レイアウト認識マルチパッチ畳み込みニューラルネットワーク(A-Lamp CNN)アーキテクチャを提案します。この新しいスキームは任意サイズの画像を受け入れることができ、微細な詳細と全体的な画像レイアウトから同時に学習することができます。これらのハイブリッド入力での学習を可能にするために、専用の二重サブネット構造を開発しました。すなわち、マルチパッチサブネットとレイアウト認識サブネットです。さらに、これら2つのサブネットから得られるハイブリッド特徴量を効果的に結合するための集約層を構築しました。大規模な美しさ評価ベンチマーク(AVA)における広範囲にわたる実験結果は、写真の美しさ評価において最新技術を超える著しい性能向上を示しています。