要約
画像をどのように表現するか？視覚的世界は連続的に提示される一方で、機械は画像を2次元の画素配列という離散的な形で保存し、処理する。本論文では、画像に対して連続的な表現を学習することを目的とする。近年のimplicit neural representationを用いた3次元再構成の進展に触発され、本研究では「局所的implicit画像関数（Local Implicit Image Function: LIIF）」を提案する。LIIFは、画像座標とその周辺の2次元深層特徴（deep features）を入力とし、指定された座標におけるRGB値を出力として予測する。座標が連続的であるため、LIIFは任意の解像度で表現可能である。画像の連続的表現を生成するため、超解像（super-resolution）を用いた自己教師付きタスクを通じて、エンコーダとLIIF表現を同時に学習する。学習された連続的表現は、訓練時に使用されていない解像度（最大30倍の高解像度）へまで外挿（extrapolate）可能なため、任意の解像度で表現可能である。さらに、LIIF表現が2次元における離散表現と連続表現の橋渡しを自然に実現することを示し、画像サイズが変動するタスクにおいて、真値（ground-truth）をリサイズする従来手法と比較して顕著に優れた性能を発揮することを確認した。