HyperSeg : Réseau hyperparallèle par patch pour la segmentation sémantique en temps réel

Nous présentons un nouveau réseau de segmentation sémantique en temps réel dans lequel l'encodeur non seulement encode les informations mais génère également les paramètres (poids) du décodeur. De plus, pour permettre une adaptabilité maximale, les poids de chaque bloc du décodeur varient spatialement. À cette fin, nous avons conçu un nouveau type d'hyper-réseau, composé d'un U-Net imbriqué pour extraire des caractéristiques contextuelles de niveau supérieur, d'un module multi-têtes de génération de poids qui génère les poids de chaque bloc du décodeur juste avant leur utilisation, afin d'optimiser l'utilisation de la mémoire, et d'un réseau principal constitué de nouvelles convolutions dynamiques par patch. Malgré l'utilisation de blocs moins conventionnels, notre architecture atteint des performances en temps réel. En ce qui concerne le compromis entre temps d'exécution et précision, nous surpassons les résultats de l'état de l'art (SotA) sur des benchmarks populaires de segmentation sémantique : PASCAL VOC 2012 (ensemble de validation) et la segmentation sémantique en temps réel sur Cityscapes et CamVid. Le code est disponible à l'adresse suivante : https://nirkin.com/hyperseg.