HyperAIHyperAI

Command Palette

Search for a command to run...

il y a 4 mois

Apprentissage interactif des propriétés intrinsèques et extrinsèques pour la segmentation sémantique sur toute la journée

{Theo Gevers ShaoDi You Qi Bi}

Résumé

Les apparences des scènes évoluent de manière radicale au cours de la journée. Les méthodes existantes de segmentation sémantique se concentrent principalement sur des scénarios bien éclairés en journée et ne sont pas spécifiquement conçues pour faire face à de telles variations d’apparence. L’application naïve de l’adaptation de domaine ne résout pas ce problème, car elle apprend généralement une application fixe entre le domaine source et le domaine cible, limitant ainsi sa capacité de généralisation dans des scénarios tout au long de la journée (c’est-à-dire de l’aube à la nuit).Dans ce travail, contrairement aux approches existantes, nous abordons ce défi du point de vue même de la formulation d’image, où l’apparence d’une image est déterminée par des propriétés intrinsèques (par exemple, catégorie sémantique, structure) et extrinsèques (par exemple, éclairage). À cette fin, nous proposons une nouvelle stratégie d’apprentissage interactif intrinsèque-extrinsèque. L’idée centrale consiste à établir une interaction entre les représentations intrinsèques et extrinsèques au cours du processus d’apprentissage, guidée de manière spatiale. Ainsi, la représentation intrinsèque devient plus stable, tandis que la représentation extrinsèque s’améliore dans la modélisation des variations. Par conséquent, la représentation d’image réaffinée devient plus robuste pour générer des prédictions pixel-par-pixel dans des scénarios tout au long de la journée. Pour réaliser cela, nous proposons un réseau de segmentation tout-en-un (AO-SegNet) de manière end-to-end.Des expérimentations à grande échelle sont menées sur trois jeux de données réels (Mapillary, BDD100K et ACDC) ainsi que sur notre jeu de données synthétique proposé, All-day CityScapes. Le modèle AO-SegNet proposé montre une amélioration significative par rapport aux états de l’art sur l’ensemble des jeux de données, quel que soit le squelette CNN ou ViT utilisé.

Benchmarks

BenchmarkMéthodologieMétriques
all-day-semantic-segmentation-on-all-dayAO-SegNet (Swin-Base)
mIoU: 78.6
semantic-segmentation-on-mapillary-valAO-SegNet
mIoU: 76.0

Construire l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec du co-codage IA gratuit, un environnement prêt à l'emploi et les meilleurs prix GPU.

Co-codage IA
GPU prêts à utiliser
Meilleurs prix
Commencer

Hyper Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp
Apprentissage interactif des propriétés intrinsèques et extrinsèques pour la segmentation sémantique sur toute la journée | Articles de recherche | HyperAI