HyperAIHyperAI

Command Palette

Search for a command to run...

Echtzeit-Super-Resolution-System für 4K-Video basierend auf Deep Learning

Yanpeng Cao Chengcheng Wang Changjun Song Yongming Tang He Li

Zusammenfassung

Die Video-Super-Resolution-(VSR)-Technologie zeichnet sich durch ihre Fähigkeit aus, niedrigqualitative Videos wiederherzustellen, wodurch unangenehme Verschmierungs-Effekte vermieden werden, die durch interpolationsbasierte Algorithmen verursacht werden. Allerdings behindern die enorme Berechnungskomplexität und der hohe Speicherbedarf die praktische Anwendbarkeit an Edge-Geräten und die Echtzeit-Inferenz in realen Anwendungsszenarien, insbesondere bei großskaligen VSR-Aufgaben. In dieser Arbeit wird die Möglichkeit eines Echtzeit-VSR-Systems untersucht, und ein effizienter und allgemeiner VSR-Netzwerkansatz, der als EGVSR bezeichnet wird, vorgestellt. Das vorgeschlagene EGVSR basiert auf einer raumzeitlichen adversarialen Lernstrategie zur Gewährleistung einer hohen zeitlichen Kohärenz. Um eine schnellere Verarbeitungsgeschwindigkeit bis hin zu 4K-Auflösung zu erreichen, wird ein leichtgewichtiger Netzwerk-Aufbau sowie eine effiziente Up-Sampling-Methode gewählt, um den Berechnungsaufwand des EGVSR-Netzwerks unter Beibehaltung einer hohen visuellen Qualität zu minimieren. Zudem werden auf der tatsächlichen Hardwareplattform Techniken zur Beschleunigung neuronaler Netze implementiert, darunter die Fusion der Batch-Normalisierung, beschleunigte Faltungs-Algorithmen und weitere Optimierungsmaßnahmen zur Verbesserung des Inferenzprozesses. Abschließend erreicht unser EGVSR eine Echtzeit-Verarbeitungsgeschwindigkeit von 4K@29,61 FPS. Im Vergleich zu TecoGAN, dem derzeit fortschrittlichsten VSR-Netzwerk, gelingt es uns, die Berechnungsdichte um 85,04 % zu reduzieren und die Leistungsgeschwindigkeit um das 7,92-fache zu steigern. In Bezug auf die visuelle Qualität übertrifft das vorgeschlagene EGVSR andere state-of-the-art-Methoden hinsichtlich verschiedener Metriken (z. B. LPIPS, tOF, tLP) auf dem öffentlichen Testdatensatz Vid4 und erzielt die beste Gesamtleistung. Der Quellcode dieses Projekts ist unter https://github.com/Thmen/EGVSR verfügbar.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
Echtzeit-Super-Resolution-System für 4K-Video basierend auf Deep Learning | Paper | HyperAI