学習された深層事前知識を用いたリアルタイムのユーザガイダンス画像着色

ユーザー主導の画像着色に対する深層学習アプローチを提案します。本システムは、グレースケール画像とスパースな局所的なユーザー「ヒント」を入力として、畳み込みニューラルネットワーク（Convolutional Neural Network: CNN）を使用して出力着色に直接マッピングします。手動で定義された規則ではなく、大規模データから学習した低レベルの手がかりと高レベルの意味情報の融合によって、ネットワークはユーザー編集を伝播させます。我々は100万枚の画像とシミュレートされたユーザー入力を用いて訓練を行いました。効率的な入力選択をユーザーに案内するために、システムは入力画像と現在のユーザー入力を基に推奨色を提示します。着色処理は単一の前向き伝播パスで行われるため、リアルタイムでの使用が可能となります。シミュレートされたランダムなユーザー入力でも、提案するシステムが初心者のユーザーが迅速に現実的な着色を作成し、わずか1分間の使用で着色品質に大幅な改善をもたらすことを示しています。さらに、フレームワークが望ましい着色への他のユーザー「ヒント」を取り入れられる可能性を示し、色情報ヒストグラム転送への応用例も紹介します。当該コードおよびモデルは https://richzhang.github.io/ideepcolor で公開されています。