HyperAIHyperAI

Command Palette

Search for a command to run...

Bildergänzung mit heterogen gefilterten spektralen Hinweisen

Xingqian Xu Shant Navasardyan Vahram Tadevosyan Andranik Sargsyan Yadong Mu Humphrey Shi

Zusammenfassung

Die Bildvollständigung mit großflächigen, frei geformten fehlenden Regionen stellt eine der herausforderndsten Aufgaben für die Computer Vision-Community dar. Während Forscher nach besseren Lösungen streben, bleiben Nachteile wie Musterunbewusstheit, verschwommene Texturen und Strukturverzerrungen deutlich erkennbar und lassen somit Verbesserungspotenzial bestehen. Um diesen Herausforderungen zu begegnen, schlagen wir ein neuartiges, auf StyleGAN basierendes Netzwerk für die Bildvollständigung vor: das Spectral Hint GAN (SH-GAN). In diesem Modell wird ein sorgfältig entworfenes Spektralverarbeitungsmodul, die Spectral Hint Unit, eingeführt. Zudem präsentieren wir zwei neue 2D-Spektralverarbeitungsstrategien, die Heterogeneous Filtering und die Gaussian Split, die sich gut in moderne tiefere Lernmodelle integrieren lassen und zukünftig möglicherweise auf andere Aufgaben übertragen werden können. In umfassenden Experimenten zeigen wir, dass unser Modell auf den Benchmark-Datensätzen FFHQ und Places2 FID-Scores von 3,4134 bzw. 7,0277 erreicht und damit vorherige Ansätze übertrifft sowie einen neuen State-of-the-Art darstellt. Durch Ablationstudien belegen wir zudem die Wirksamkeit unseres Entwurfs, wobei sich deutlich zeigt, dass die oben genannten Probleme – nämlich Musterunbewusstheit, verschwommene Texturen und Strukturverzerrungen – signifikant reduziert werden können. Der Quellcode wird unter folgender URL öffentlich zugänglich gemacht: https://github.com/SHI-Labs/SH-GAN.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp