異種フィルタードスペクトルヒントを用いた画像補完

大規模な自由形状の欠損領域を伴う画像補完は、コンピュータビジョン分野において最も挑戦的な課題の一つである。研究者たちがより優れた解決策を追求する中で、パターン無視、ぼやけたテクスチャ、構造の歪みといった課題が依然として顕著であり、改善の余地が残されている。これらの課題を克服するため、本研究では、スペクトル処理モジュール「スペクトルヒントユニット（Spectral Hint Unit）」を精心に設計した新しいStyleGANベースの画像補完ネットワーク、Spectral Hint GAN（SH-GAN）を提案する。さらに、現代の深層学習モデルと整合性の高い2種類の新しい2次元スペクトル処理戦略、すなわち「非均一フィルタリング（Heterogeneous Filtering）」と「ガウシアン分割（Gaussian Split）」を提案し、他のタスクへの拡張可能性も示唆している。包括的な実験の結果、本モデルはベンチマークデータセットFFHQおよびPlaces2において、それぞれFIDスコア3.4134および7.0277を達成し、従来手法を上回り、新たな最先端性能を実現した。また、消去実験により本設計の有効性を証明しており、前述の課題であるパターン無視、ぼやけたテクスチャ、構造の歪みが顕著に解消されることを確認できる。本研究のコードは、以下にてオープンソース公開される予定である：https://github.com/SHI-Labs/SH-GAN。