HyperAIHyperAI

Command Palette

Search for a command to run...

Echtzeit-Übersetzung hochaufgelöster fotorealistischer Bilder: Ein Laplace-Pyramiden-Übersetzungsnetzwerk

Jie Liang extsuperscript1,2,* Hui Zeng extsuperscript1,2,* Lei Zhang extsuperscript1,2†

Zusammenfassung

Bestehende Bild-zu-Bild-Übersetzungsmethoden (I2IT) sind entweder auf niedrige Auflösungen beschränkt oder zeichnen sich durch lange Inferenzzeiten aus, aufgrund der hohen rechnerischen Belastung durch die Faltung hochaufgelöster Merkmalskarten. In dieser Arbeit konzentrieren wir uns darauf, hochauflösende fotorealistische I2IT-Aufgaben zu beschleunigen, basierend auf der geschlossenen Form der Laplace-Pyramidenzerlegung und -rekonstruktion. Insbesondere zeigen wir, dass Attributstransformationen, wie Helligkeits- und Farbanpassungen, stärker mit dem Niederfrequenzkomponenten zusammenhängen, während die Inhaltsdetails an den Hochfrequenzkomponenten adaptiv verfeinert werden können. Folglich schlagen wir ein Laplace-Pyramiden-Übersetzungsnetzwerk (LPTN) vor, das diese beiden Aufgaben gleichzeitig durchführt. Dabei entwickeln wir ein leichtgewichtiges Netzwerk zur Übersetzung des Niederfrequenzkomponenten mit reduzierter Auflösung sowie eine progressive Maskierungsstrategie zur effizienten Verfeinerung der Hochfrequenzkomponenten. Unser Modell vermeidet den Großteil der hohen Rechenleistung, die bei der Verarbeitung hochaufgelöster Merkmalskarten notwendig ist, und bewahrt treu die Bildetails. Ausführliche experimentelle Ergebnisse für verschiedene Aufgaben demonstrieren, dass die vorgeschlagene Methode 4K-Bilder in Echtzeit mit einer normalen GPU übersetzen kann und dabei vergleichbare Transformationsleistungen wie bestehende Methoden erzielt. Die Datensätze und Codes sind verfügbar: https://github.com/csjliang/LPTN.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp