HyperAIHyperAI

Command Palette

Search for a command to run...

Attention axiale canalisée pour la segmentation sémantique — Prise en compte des relations entre canaux dans l'attention spatiale pour la segmentation sémantique

Ye Huang Di Kang Wenjing Jia Xiangjian He Liu Liu

Résumé

Les attentions spatiale et canal, qui modélisent respectivement les interdépendances sémantiques dans les dimensions spatiale et canal, sont récemment devenues largement utilisées pour la segmentation sémantique. Toutefois, le calcul séparé des attentions spatiale et canal peut parfois entraîner des erreurs, en particulier dans les cas difficiles. Dans cet article, nous proposons une nouvelle méthode appelée Channelized Axial Attention (CAA), permettant d’intégrer de manière fluide l’attention canal et l’attention spatiale en une seule opération, avec un surcoût de calcul négligeable. Plus précisément, nous décomposons l’opération de produit scalaire de l’attention spatiale en deux parties et insérons une relation canal entre elles, ce qui permet d’optimiser indépendamment l’attention canal à chaque emplacement spatial. Nous avons également développé une vectorisation regroupée, qui permet à notre modèle de fonctionner avec une consommation de mémoire très faible, sans ralentir la vitesse d’exécution. Des expériences comparatives menées sur plusieurs jeux de données standard, notamment Cityscapes, PASCAL Context et COCO-Stuff, montrent que notre CAA surpasser de nombreuses méthodes d’état de l’art en segmentation (y compris les modèles à double attention) sur l’ensemble des jeux de données testés.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp
Attention axiale canalisée pour la segmentation sémantique — Prise en compte des relations entre canaux dans l'attention spatiale pour la segmentation sémantique | Articles | HyperAI