HyperAIHyperAI

Command Palette

Search for a command to run...

TransPose : Localisation de points clés par transformateur

Sen Yang Zhibin Quan Mu Nie Wankou Yang

Résumé

Bien que les modèles basés sur les réseaux de neurones convolutifs (CNN) aient réalisé des progrès remarquables en estimation de posture humaine, la nature des dépendances spatiales qu’ils captent pour localiser les points clés reste floue. Dans ce travail, nous proposons un modèle appelé \textbf{TransPose}, qui introduit l’architecture Transformer pour l’estimation de posture humaine. Les couches d’attention intégrées dans le Transformer permettent à notre modèle de capturer efficacement des relations à longue portée, tout en révélant les dépendances spécifiques sur lesquelles reposent les points clés prédits. Pour prédire les cartes de chaleur des points clés, la dernière couche d’attention agit comme un agrégateur, qui collecte les contributions provenant des indices visuels présents dans l’image et détermine les positions maximales correspondant aux points clés. Cette approche de localisation basée sur les cartes de chaleur, via le Transformer, s’aligne sur le principe de Maximisation d’Activation~\cite{erhan2009visualizing}. Les dépendances révélées sont spécifiques à chaque image et de granularité fine, offrant ainsi des preuves concrètes sur la manière dont le modèle traite des cas particuliers, tels que l’occlusion. Les expérimentations montrent que TransPose atteint 75,8 AP et 75,0 AP sur les ensembles de validation et de test-dev du dataset COCO, tout en étant plus léger et plus rapide que les architectures CNN dominantes. Le modèle TransPose se généralise également très bien sur le benchmark MPII, obtenant des performances supérieures sur l’ensemble de test après une fine-tuning à faible coût computationnel. Le code source et les modèles pré-entraînés sont disponibles publiquement\footnote{\url{https://github.com/yangsenius/TransPose}}.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp