HyperAIHyperAI

Command Palette

Search for a command to run...

Points à Patches : Permettre l'Utilisation de l'Auto-Attention pour la Reconnaissance de Formes 3D

Axel Berg Magnus Oskarsson Mark O’Connor

Résumé

Bien que l'architecture Transformer soit devenue omniprésente dans le domaine de l'apprentissage automatique, son adaptation à la reconnaissance de formes 3D n'est pas triviale. En raison de sa complexité computationnelle quadratique, l'opérateur d'auto-attention devient rapidement inefficace lorsque l'ensemble des points d'entrée s'agrandit. De plus, nous constatons que le mécanisme d'attention peine à établir des connexions utiles entre les points individuels sur une échelle globale. Pour atténuer ces problèmes, nous proposons une approche en deux étapes appelée Point Transformer-in-Transformer (Point-TnT), qui combine les mécanismes d'attention locale et globale, permettant ainsi aux points individuels et aux patchs de points de s'interconnecter efficacement. Les expériences menées sur la classification de formes montrent que cette approche fournit des caractéristiques plus utiles pour les tâches downstream que le Transformer de base, tout en étant plus efficace sur le plan computationnel. De plus, nous avons également étendu notre méthode au couplage de caractéristiques pour la reconstruction de scènes, démontrant qu'elle peut être utilisée en conjonction avec les pipelines existants de reconstruction de scènes.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp