自然画像マッティングにおけるディフュージョン

我々は、画像マットリングという困難なタスクを、拡散モデル（diffusion）を活用することで解決することを目指している。しかし、高い計算負荷と、学習段階と推論段階におけるノイズサンプリングの不一致という課題が、この目標達成を阻んでいた。本論文では、こうした課題を効果的に克服するための手法として、DiffMatteを提案する。まず、DiffMatteは、複雑に結合されたマットリングネットワーク設計からデコーダを分離し、拡散プロセスの反復計算において、軽量なデコーダを1つだけ用いる構成を採用している。この戦略により、サンプル数の増加に伴う計算負荷の増大を抑制できる。次に、均等な時間間隔を用いた自己整合型（self-aligned）な学習戦略を導入することで、時間領域全体にわたり、学習時と推論時におけるノイズサンプリングの一貫性を確保している。DiffMatteは柔軟性を重視して設計されており、さまざまな現代的なマットリングアーキテクチャにスムーズに統合可能である。広範な実験結果から、DiffMatteはComposition-1kテストセットにおいて最先端の性能を達成し、過去の最良手法と比較してSAD指標で5%、MSE指標で15%の向上を示した。さらに、他のベンチマークでも優れた汎化性能を示しており、実用性の高さが確認された。