HyperAIHyperAI
vor 2 Monaten

Fehlschlägt Vektorquantisierung bei der räumlich-zeitlichen Vorhersage? Eine Untersuchung eines differenzierbaren spärlichen weichen Vektorquantisierungsansatzes

Chao Chen; Tian Zhou; Yanjun Zhao; Hui Liu; Liang Sun; Rong Jin
Fehlschlägt Vektorquantisierung bei der räumlich-zeitlichen Vorhersage? Eine Untersuchung eines differenzierbaren spärlichen weichen Vektorquantisierungsansatzes
Abstract

Die räumlich-zeitliche Vorhersage ist in verschiedenen Bereichen von entscheidender Bedeutung und erfordert eine sorgfältige Balance zwischen der Identifizierung subtiler Muster und dem Filtern von Rauschen. Die Vektorkuantisierung (VQ) scheint für diesen Zweck gut geeignet zu sein, da sie Eingabevektoren in eine Menge von Codewortvektoren oder Mustern quantisiert. Obwohl VQ in verschiedenen Aufgaben des Computersehens vielversprechende Ergebnisse gezeigt hat, fällt es überraschend hinter den Erwartungen zurück, wenn es darum geht, die Genauigkeit der räumlich-zeitlichen Vorhersage zu verbessern. Wir führen dies auf zwei Hauptprobleme zurück: eine ungenaue Optimierung aufgrund der Nichtdifferenzierbarkeit und eine begrenzte Darstellungsmacht im harten VQ. Um diese Herausforderungen zu bewältigen, stellen wir die differenzierbare dünnbesetzte weiche Vektorkuantisierung (SVQ) vor, die erste VQ-Methode zur Verbesserung der räumlich-zeitlichen Vorhersage. SVQ gewährleistet einen Ausgleich zwischen Detailerhalt und Rauschreduzierung und bietet vollständige Differenzierbarkeit sowie eine solide Grundlage in der dünnbesetzten Regression. Unser Ansatz verwendet ein zweischichtiges MLP und ein umfangreiches Codewortbuch, um den Prozess der dünnbesetzten Regression zu vereinfachen, was die Rechenkosten erheblich senkt, das Training vereinfacht und die Leistung verbessert. Empirische Studien an fünf Benchmark-Datensätzen für räumlich-zeitliche Vorhersagen zeigen, dass SVQ den aktuellen Stand der Technik erreicht, einschließlich einer 7,9%-igen Verbesserung am WeatherBench-S-Temperaturdatensatz und einer durchschnittlichen Reduktion des mittleren absoluten Fehlers von 9,4% bei Videovorhersage-Benchmarks (Human3.6M, KTH und KittiCaltech), sowie einer 17,3%-igen Steigerung der Bildqualität (LPIPS). Der Quellcode ist öffentlich unter https://github.com/Pachark/SVQ-Forecasting verfügbar.