Exploration der semantischen Segmentierung auf der DCT-Darstellung

Typische Faltungsnetze werden auf RGB-Bildern trainiert und ausgeführt. In praktischen Anwendungen werden Bilder jedoch häufig zur Speichersparnis und effizienten Übertragung komprimiert. In dieser Arbeit untersuchen wir Methoden zur Durchführung der semantischen Segmentierung auf der durch den JPEG-Standard definierten diskreten Kosinustransformation (DCT). Zunächst ordnen wir die DCT-Koeffizienten neu an, um eine bevorzugte Eingabeform zu erzeugen, und passen dann ein existierendes Netzwerk an die DCT-Eingaben an. Das vorgeschlagene Verfahren erreicht eine Genauigkeit, die dem RGB-Modell nahekommt, bei etwa der gleichen Netzwerkkomplexität. Darüber hinaus untersuchen wir den Einfluss der Auswahl verschiedener DCT-Komponenten auf die Segmentierungsergebnisse. Mit einer geeigneten Auswahl kann man dieselbe Genauigkeitsstufe mit nur 36 % der DCT-Koeffizienten erreichen. Wir zeigen ferner die Robustheit unserer Methode gegenüber Quantisierungsfehlern. Nach unserem Wissen ist dies das erste Papier, das die semantische Segmentierung auf der DCT-Darstellung untersucht.