Bildergänzung mit heterogen gefilterten spektralen Hinweisen

Die Bildvollständigung mit großflächigen, frei geformten fehlenden Regionen stellt eine der herausforderndsten Aufgaben für die Computer Vision-Community dar. Während Forscher nach besseren Lösungen streben, bleiben Nachteile wie Musterunbewusstheit, verschwommene Texturen und Strukturverzerrungen deutlich erkennbar und lassen somit Verbesserungspotenzial bestehen. Um diesen Herausforderungen zu begegnen, schlagen wir ein neuartiges, auf StyleGAN basierendes Netzwerk für die Bildvollständigung vor: das Spectral Hint GAN (SH-GAN). In diesem Modell wird ein sorgfältig entworfenes Spektralverarbeitungsmodul, die Spectral Hint Unit, eingeführt. Zudem präsentieren wir zwei neue 2D-Spektralverarbeitungsstrategien, die Heterogeneous Filtering und die Gaussian Split, die sich gut in moderne tiefere Lernmodelle integrieren lassen und zukünftig möglicherweise auf andere Aufgaben übertragen werden können. In umfassenden Experimenten zeigen wir, dass unser Modell auf den Benchmark-Datensätzen FFHQ und Places2 FID-Scores von 3,4134 bzw. 7,0277 erreicht und damit vorherige Ansätze übertrifft sowie einen neuen State-of-the-Art darstellt. Durch Ablationstudien belegen wir zudem die Wirksamkeit unseres Entwurfs, wobei sich deutlich zeigt, dass die oben genannten Probleme – nämlich Musterunbewusstheit, verschwommene Texturen und Strukturverzerrungen – signifikant reduziert werden können. Der Quellcode wird unter folgender URL öffentlich zugänglich gemacht: https://github.com/SHI-Labs/SH-GAN.