YOLO-Pose : Amélioration de YOLO pour l'estimation de la pose de plusieurs personnes en utilisant une perte de similarité de keypoints d'objet

Nous présentons YOLO-pose, une nouvelle approche sans carte de chaleur pour la détection conjointe et l'estimation de la posture 2D multi-personne dans une image, basée sur le cadre populaire de détection d'objets YOLO. Les approches existantes en deux étapes basées sur des cartes de chaleur sont sous-optimales car elles ne sont pas entraînables de bout en bout et leur entraînement repose sur une perte L1 substitutive qui n'est pas équivalente à la maximisation du métrique d'évaluation, c'est-à-dire la Similarité de Keypoints d'Objet (OKS). Notre cadre nous permet d'entraîner le modèle de bout en bout et d'optimiser directement la métrique OKS. Le modèle proposé apprend à détecter conjointement les boîtes englobantes pour plusieurs personnes et leurs postures 2D correspondantes en une seule passe avant, combinant ainsi les avantages des approches top-down et bottom-up. Contrairement aux approches bottom-up, notre méthode n'exige pas de regrouper les keypoints détectés en un squelette par un traitement postérieur, car chaque boîte englobante est associée à une posture, ce qui entraîne un regroupement inhérent des keypoints. Par rapport aux approches top-down, elle évite également les multiples passes avant puisque toutes les personnes sont localisées avec leur posture lors d'une seule inférence. YOLO-pose obtient des résultats inédits sur l'ensemble de validation COCO (90,2% AP50) et l'ensemble test-dev (90,3% AP50), surpassant toutes les approches bottom-up existantes en une seule passe avant sans test inversé, test multi-échelle ou toute autre augmentation au moment du test. Tous les expériences et résultats rapportés dans cet article ont été obtenus sans aucune augmentation au moment du test, contrairement aux approches traditionnelles qui utilisent des tests inversés et des tests multi-échelles pour améliorer les performances. Nos codes d'entraînement seront rendus publiquement disponibles sur https://github.com/TexasInstruments/edgeai-yolov5 et https://github.com/TexasInstruments/edgeai-yolox.