画像スタイル、美的価値および品質推定のためのディープマルチパッチ集約ネットワーク

本稿では、高解像度画像から細かい詳細情報を得る必要がある画像スタイル認識、美的品質評価、品質推定の問題に焦点を当て、深層ニューラルネットワークを用いた学習アプローチを検討する。従来の深層畳み込みニューラルネットワークは、各画像から一つのパッチ（例：縮小されたクロップ）を抽出して学習サンプルとして用いることが多かった。しかし、一つのパッチでは画像全体を十分に表現できない場合があり、学習過程において曖昧性を引き起こす可能性がある。そこで、一つの画像から複数のパッチを生成し、それらを用いてモデルを学習する「深層マルチパッチ集約ネットワーク学習アプローチ」を提案する。このアプローチでは、ニューラルネットワーク内に複数の共有カラムを構築し、各カラムに複数のパッチを入力することで実現している。特に、これらのパッチを効果的に集約するための二つの新規ネットワーク層（統計層およびソート層）を提案する。提案する深層マルチパッチ集約ネットワークは、共有特徴学習と集約関数学習を統合した一貫した枠組みとして実現されている。本研究では、画像スタイル認識、美的品質分類、画像品質推定という三つの課題において、このネットワークの有効性を実証した。提案するネットワークを用いて学習したモデルは、いずれの応用においても、従来の最先端手法を顕著に上回る性能を達成した。