要約
我々は、自己注意（self-attention）に基づく新しいアプローチとして「Colorization Transformer」を提案する。この手法は、多様かつ高精細な画像色付けを実現するものである。与えられたグレースケール画像に対して、色付けプロセスは3段階に分かれる。まず、条件付き自己回帰型Transformerを用いて、グレースケール画像の低解像度粗い色付けを生成する。本アーキテクチャでは、条件付きTransformer層を採用することで、グレースケール入力に対する有効な条件付けを実現している。その後、2つの並列な完全なネットワークが、粗い色付けされた低解像度画像を高解像度の精細な色付け画像へとアップサンプリングする。Colorization Transformerからのサンプリングによって得られる色付け結果は多様性に富み、ImageNetに基づくFIDスコアおよびMechanical Turkにおける人間評価の両面で、従来の最先端手法を上回る忠実度を達成している。特に顕著なのは、60％以上のケースにおいて、人間評価者たちが生成された3つの色付け画像の中から最も高い評価を受けたものを、正解（グランドトゥース）よりも好む傾向にあることである。Colorization Transformerのコードおよび事前学習済みチェックポイントは、以下のURLにて公開されている：https://github.com/google-research/google-research/tree/master/coltran