HyperAIHyperAI

Command Palette

Search for a command to run...

Hochauflösendes Bild-Inpainting mit iterativer Vertrauensrückmeldung und geführter Upsampling

Yu Zeng Zhe Lin Jimei Yang Jianming Zhang Eli Shechtman Huchuan Lu

Zusammenfassung

Bekannte Methoden zur Bildinpainting erzeugen in der Praxis häufig Artefakte, wenn große Löcher zu füllen sind. Um diese Herausforderung zu bewältigen, schlagen wir eine iterative Inpainting-Methode mit einem Rückkopplungsmechanismus vor. Konkret führen wir ein tiefes generatives Modell ein, das nicht nur ein Inpainting-Ergebnis, sondern auch eine entsprechende Zuverlässigkeitskarte ausgibt. Unter Verwendung dieser Karte als Rückkopplung füllt das Modell den Lochbereich schrittweise aus, indem es sich ausschließlich auf Pixel mit hoher Zuverlässigkeit innerhalb des Lochs in jeder Iteration verlässt und sich in der nächsten Iteration auf die verbleibenden Pixel konzentriert. Da es Teilergebnisse aus vorherigen Iterationen als bekannte Pixel wiederverwendet, verbessert sich das Ergebnis kontinuierlich. Zusätzlich schlagen wir ein geführtes Aufsampling-Netzwerk vor, um hochauflösende Inpainting-Ergebnisse zu erzeugen. Dies erreichen wir, indem wir das Contextual Attention-Modul erweitern, um hochauflösende Merkmalspatches aus dem Eingabebild zu übernehmen. Außerdem sammeln wir zur Nachahmung realer Objekterfassungsszenarien eine große Datensammlung von Objektmasken und synthetisieren realistischere Trainingsdaten, die Benutzereingaben besser simulieren. Experimente zeigen, dass unsere Methode sowohl quantitativ als auch qualitativ signifikant gegenüber bestehenden Methoden übertrifft. Weitere Ergebnisse und eine Web-App sind unter https://zengxianyu.github.io/iic verfügbar.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp