要約
画像の着色は、本質的に多峰性の不確定性を持つ非適切な問題である。従来の手法では、深層ニューラルネットワークを用いて入力のグレースケール画像から直接合理的な彩色出力を生成していた。これらの学習ベースの手法は印象的な性能を示しているが、複数の物体を含む入力画像に対しては通常失敗する。その主な原因は、既存のモデルが全体的な画像に対して学習と着色を行っているためであり、明確な図形と背景の分離がない場合、これらのモデルは意味のあるオブジェクトレベルのセマンティクスを効果的に位置付けたり学んだりすることができない。本論文では、インスタンス認識に基づく着色手法を提案する。我々のネットワークアーキテクチャは、市販の物体検出器を使用してクロップされた物体画像を得ることに加え、インスタンス着色ネットワークを用いてオブジェクトレベルの特徴を抽出する。また、同様のネットワークを使用して全体画像の特徴を抽出し、融合モジュールを用いてオブジェクトレベルと画像レベルの特徴を組み合わせて最終的な色彩を予測する。両方の着色ネットワークと融合モジュールは大規模データセットから学習される。実験結果は、我々の手法が異なる品質指標において既存手法よりも優れており、画像着色における最先端性能を達成していることを示している。