Détection des interactions homme-objet à l’aide de priorités d’occurrence d’actions

Un problème courant dans la tâche de détection des interactions homme-objet (HOI) est que de nombreuses classes HOI ne disposent que d’un petit nombre d’exemples étiquetés, ce qui entraîne des ensembles d’apprentissage suivant une distribution longue-tail. Le manque d’étiquettes positives peut entraîner une faible précision de classification pour ces classes. Pour atténuer ce problème, nous observons qu’il existe des corrélations naturelles ainsi que des anti-correlations entre les interactions homme-objet. Dans cet article, nous modélisons ces corrélations à l’aide de matrices d’occurrence d’actions et proposons des techniques pour apprendre ces connaissances a priori et les exploiter afin d’améliorer l’entraînement, en particulier pour les classes rares. L’efficacité de notre approche est démontrée expérimentalement : ses performances dépassent celles des méthodes de l’état de l’art sur les deux principaux jeux de données de référence pour la détection HOI, à savoir HICO-Det et V-COCO.