WavePaint：自己教師付きインペイントにおけるリソース効率的なToken-mixer

画像の穴埋め（image inpainting）とは、画像内の欠損領域を合成することで復元する技術であり、遮蔽や劣化した領域の修復に役立つだけでなく、自己教師学習（self-supervision）の前処理タスクとしても機能する。現在の最先端の画像穴埋めモデルは、GANや拡散モデル（diffusion）の設定で訓練されたTransformerやCNNベースのアーキテクチャに依拠しているため、計算コストが非常に高いのが課題である。本研究では、視覚Transformerとは異なり、計算効率の高いWaveMixに基づく完全畳み込み型アーキテクチャ「WavePaint」を提案する。このモデルは、2次元離散ウェーブレット変換（2D-discrete wavelet transform, DWT）を用いて空間的かつ多スケールのトークン混合（token-mixing）を実現するとともに、畳み込み層を組み合わせる。提案手法は、再構成品質において既存の最先端モデルを上回りつつ、パラメータ数が半分以下に抑えられ、トレーニングおよび評価時間も大幅に短縮されている。さらに、敵対的訓練可能なディスクリミネーターを用いずに、CelebA-HQデータセットにおいても現在のGANベースのアーキテクチャを上回る性能を達成している。本研究の結果から、自然画像の事前知識（natural image priors）をモデル化したニューラルアーキテクチャは、Transformerと同等の汎化性能を達成するためのパラメータ数と計算量を大幅に削減できることが示唆される。