HyperAIHyperAI

Command Palette

Search for a command to run...

Region-Adaptiveer Transform mit Segmentierungsvorwissen für die Bildkompression

Yuxi Liu Wenhan Yang Huihui Bai Yunchao Wei Yao Zhao

Zusammenfassung

Lernende Bildkompression (Learned Image Compression, LIC) hat in den letzten Jahren bemerkenswerte Fortschritte erzielt. Bisherige Ansätze verwenden häufig CNN-basierte oder selbst-Attention-basierte Module als Transformationsmethoden für die Kompression. Es gibt jedoch bisher keine Forschung, die sich speziell auf neuronale Transformationen konzentriert, die bestimmte Bildregionen berücksichtigen. Daraufhin führen wir klassenunabhängige Segmentierungsmasken (d. h. semantische Masken ohne Kategorielabel) ein, um regionenadaptive kontextuelle Informationen zu extrahieren. Unser vorgeschlagenes Modul, das Region-Adaptive Transform, wendet adaptive Faltungen auf verschiedene Regionen an, wobei die Masken als Leitfaden dienen. Zudem stellen wir ein plug-and-play-Modul namens Scale Affine Layer vor, das reichhaltige Kontextinformationen aus verschiedenen Regionen integriert. Obwohl es frühere Ansätze zur Bildkompression gibt, die Segmentierungsmasken als zusätzliche Zwischeneingaben verwenden, unterscheidet sich unser Ansatz erheblich davon. Unsere Stärke liegt darin, dass wir diese Masken als privilegierte Informationen behandeln – sie sind während des Trainings zugänglich, jedoch nicht während der Inferenz erforderlich. Dadurch wird ein zusätzlicher Bitrate-Aufwand vermieden. So weit uns bekannt ist, sind wir die Ersten, die klassenunabhängige Masken als privilegierte Informationen nutzen und dabei eine überlegene Leistung in Pixel-Fidelitätsmetriken wie dem Peak Signal-to-Noise Ratio (PSNR) erzielen. Die experimentellen Ergebnisse zeigen eine deutliche Verbesserung gegenüber bisher gut performenden Methoden, wobei wir im Vergleich zu VTM-17.0 etwa 8,2 % Bitrate einsparen. Der Quellcode ist unter https://github.com/GityuxiLiu/SegPIC-for-Image-Compression verfügbar.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
Region-Adaptiveer Transform mit Segmentierungsvorwissen für die Bildkompression | Paper | HyperAI