Régression contrastive prenant en compte les groupes pour l’évaluation de la qualité des actions

L'évaluation de la qualité des actions est un défi en raison des subtiles différences entre les vidéos et des grandes variations de scores. La plupart des approches existantes abordent ce problème en régressant un score de qualité à partir d'une seule vidéo, souffrant ainsi beaucoup des grandes variations inter-videos de scores. Dans cet article, nous montrons que les relations entre les vidéos peuvent fournir des indices importants pour une évaluation plus précise de la qualité des actions, tant lors de l'entraînement que lors de l'inférence. Plus précisément, nous reformulons le problème d'évaluation de la qualité des actions comme la régression des scores relatifs par rapport à une autre vidéo partageant des attributs communs (par exemple, catégorie et difficulté), au lieu d'apprendre des scores non référencés. En suivant cette formulation, nous proposons un nouveau cadre de régression contrastive (CoRe) pour apprendre les scores relatifs par comparaison paire-à-paire, ce qui met en lumière les différences entre les vidéos et guide les modèles à apprendre les indices clés pour l'évaluation. Pour exploiter davantage l'information relative entre deux vidéos, nous avons conçu un arbre de régression sensible aux groupes qui transforme la régression conventionnelle des scores en deux sous-problèmes plus simples : une classification grossière à fine et une régression dans de petits intervalles. Pour démontrer l'efficacité du CoRe, nous avons mené de nombreuses expériences sur trois jeux de données principaux d'AQA (Action Quality Assessment) incluant AQA-7, MTL-AQA et JIGSAWS. Notre approche surpassait largement les méthodes précédentes et établissait un nouveau état de l'art sur tous les trois benchmarks.