Exploration de la segmentation sémantique sur la représentation DCT

Les réseaux de neurones convolutifs typiques sont formés et utilisés sur des images RGB. Cependant, dans les applications réelles, les images sont souvent compressées pour économiser de la mémoire et assurer une transmission efficace. Dans cet article, nous explorons des méthodes permettant d'effectuer une segmentation sémantique sur la représentation par transformation en cosinus discrète (DCT) définie par la norme JPEG. Nous commençons par réorganiser les coefficients DCT pour former un type d'entrée préféré, puis nous adaptons un réseau existant aux entrées DCT. La méthode proposée atteint une précision comparable à celle du modèle RGB avec une complexité de réseau similaire. De plus, nous examinons l'impact du choix de différents composants DCT sur les performances de segmentation. Avec une sélection appropriée, il est possible d'atteindre le même niveau de précision en utilisant seulement 36 % des coefficients DCT. Nous démontrons également la robustesse de notre méthode face aux erreurs de quantification. À notre connaissance, cet article est le premier à explorer la segmentation sémantique sur la représentation DCT.