HyperAIHyperAI

Command Palette

Search for a command to run...

SAPA : Affiliation de Points Consciente de la Similarité pour le Rééchantillonnage des Caractéristiques

Hao Lu Wenze Liu Zixuan Ye Hongtao Fu Yuliang Liu Zhiguo Cao*

Résumé

Nous introduisons la notion d'affiliation de points dans l'upsampling des caractéristiques, qui décrit l'appartenance de chaque point upsampled à un cluster sémantique formé par des points de caractéristiques du décodeur local ayant une similarité sémantique. En repensant l'affiliation de points, nous présentons une formulation générique pour la génération de noyaux d'upsampling. Ces noyaux favorisent non seulement la régularité sémantique mais aussi la netteté des contours dans les cartes de caractéristiques upsampled. De telles propriétés sont particulièrement utiles pour certaines tâches de prédiction dense, comme la segmentation sémantique. L'idée clé de notre formulation est de générer des noyaux sensibles à la similarité en comparant la similarité entre chaque point de caractéristiques du encodeur et la région locale associée spatialement aux caractéristiques du décodeur. De cette manière, le point de caractéristiques du encodeur peut servir d'indice pour informer le cluster sémantique des points de caractéristiques upsampled. Pour concrétiser cette formulation, nous proposons un opérateur d'upsampling léger, appelé Affiliation de Points Sensible à la Similarité (SAPA), et nous examinons ses variantes. SAPA apporte des améliorations cohérentes des performances sur plusieurs tâches de prédiction dense, notamment la segmentation sémantique, la détection d'objets, l'estimation de profondeur et le matting d'images. Le code est disponible à l'adresse suivante : https://github.com/poppinace/sapa


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp
SAPA : Affiliation de Points Consciente de la Similarité pour le Rééchantillonnage des Caractéristiques | Articles | HyperAI