iColoriT: インタラクティブカラーリングにおけるビジョントランスフォーマーを活用したローカルヒントの適切な領域への伝播を目指して

ポイント対応の画像着色は、ユーザーが特定の位置に色を提供したときにグレースケール画像を着色することを目指しています。ポイント対応の着色手法においては、ユーザーが提供した色（すなわち、ユーザーヒント）を全画像に適切に伝播させることで、最小限のユーザー労力で合理的に着色された画像を得ることが重要です。しかし、既存のアプローチでは、ヒントを遠くにある関連領域に伝播させるための畳み込み層の積み重ね設計が非効率的なため、部分的にしか着色されない結果がしばしば生じています。この問題に対処するために、我々は iColoriT を提案します。これは新しいポイント対応の画像着色 Vision Transformer であり、トランスフォーマーのグローバル受容野を利用してユーザーヒントを関連領域に伝播させる能力を持っています。トランスフォーマーの自己注意機構により、iColoriT はわずかな局所ヒントだけで関連領域を選択的に着色することができます。また、効率的なアップサンプリング技術であるピクセルシャッフルを利用することで、当手法はリアルタイムで画像を着色します。さらに、大きなアップサンプリング比によるピクセルシャッフルのアーティファクトを軽減するため、局所安定化層を導入しました。広範な定量的および定性的評価結果から、当手法は既存のポイント対応着色手法に対して大幅に優れており、ユーザーの最小限の労力で正確に着色された画像を生成することが示されています。公式コードは以下のURLから入手可能です: https://pmh9960.github.io/research/iColoriT