Calibrage Prototypique d'Échantillons Ambigus pour la Reconnaissance de Micro-Actions
La reconnaissance des micro-actions (MAR) a suscité un intérêt croissant en raison de son rôle crucial en tant que forme de communication non verbale dans les interactions sociales, avec un potentiel prometteur pour des applications dans l'analyse de la communication et des émotions humaines. Cependant, les approches actuelles négligent souvent l'ambiguïté inhérente aux micro-actions, qui découle du large éventail de catégories et des différences visuelles subtiles entre celles-ci. Cette omission entrave la précision de la reconnaissance des micro-actions. Dans cet article, nous proposons un nouveau réseau de calibration prototypique d'ambiguïté (PCAN) pour lever et atténuer l'ambiguïté de la MAR. Premièrement, nous utilisons un arbre d'actions hiérarchique pour identifier les échantillons ambigus, en les classant dans des ensembles distincts d'échantillons ambigus de faux négatifs et faux positifs, en tenant compte à la fois des catégories au niveau du corps et au niveau de l'action. Deuxièmement, nous mettons en œuvre un module de raffinement contrastif ambigüe pour calibrer ces échantillons ambigus en régulant la distance entre les échantillons ambigus et leurs prototypes correspondants. Ce processus de calibration vise à rapprocher les échantillons de faux négatifs (FN) de leurs prototypes respectifs et à écarter les échantillons de faux positifs (FP) de leurs prototypes affiliés.En outre, nous proposons une nouvelle perte d'amplification de diversité prototypique pour renforcer la capacité du modèle en amplifiant les différences entre différents prototypes. Enfin, nous proposons une rectification guidée par le prototype pour corriger les prédictions en intégrant la représentativité des prototypes. Des expériences approfondies menées sur un jeu de données benchmark montrent que notre méthode offre une performance supérieure par rapport aux approches existantes. Le code est disponible sur https://github.com/kunli-cs/PCAN.