HAKE : Moteur de Connaissance sur les Activités Humaines

La compréhension des activités humaines est cruciale pour la construction de systèmes intelligents automatiques. Grâce à l'apprentissage profond, la compréhension des activités a connu d'importants progrès récemment. Cependant, certains défis tels que la distribution déséquilibrée des données, l'ambiguïté des actions et les motifs visuels complexes demeurent. Pour relever ces défis et promouvoir la compréhension des activités, nous avons construit un grand moteur de connaissance sur les activités humaines (HAKE) basé sur les états des parties du corps humain. À partir de jeux de données existants d'activités, nous avons annoté les états des parties du corps de toutes les personnes actives présentes dans toutes les images, établissant ainsi une relation entre l'activité de chaque instance et les états des parties du corps. De plus, nous proposons un modèle de reconnaissance des états des parties du corps basé sur HAKE, doté d'un extracteur de connaissances nommé Activity2Vec et d'un réseau neuronal de raisonnement basé sur les états des parties du corps correspondantes. Avec HAKE, notre méthode peut atténuer la difficulté d'apprentissage due à la distribution en queue longue des données et introduire une interprétabilité. Actuellement, notre HAKE compte plus de 7 millions d'annotations d'états de parties du corps et est toujours en cours de développement. Dans ce papier préliminaire, nous validons notre approche sur une partie de HAKE, où nous montrons une amélioration de 7,2 points mAP dans la reconnaissance des interactions Homme-Objet et une amélioration de 12,38 points mAP sur les sous-ensembles one-shot.