HyperAIHyperAI

Command Palette

Search for a command to run...

QPIC : Détection d'interactions humaines-objets par paires basée sur des requêtes avec des informations contextuelles à l'échelle de l'image

Masato Tamura Hiroki Ohashi Tomoaki Yoshinaga

Résumé

Nous proposons une méthode simple, intuitive et pourtant puissante pour la détection d'interactions humain-objet (HOI). Les HOIs sont si diverses en termes de répartition spatiale dans une image que les méthodes actuelles basées sur les CNN font face à trois inconvénients majeurs : elles ne peuvent pas exploiter les caractéristiques globales de l'image en raison de la localité des CNN, elles s'appuient sur un emplacement d'intérêt défini manuellement pour l'agrégation des caractéristiques, ce qui ne couvre parfois pas les régions contextuellement importantes, et elles ne peuvent éviter de mélanger les caractéristiques de plusieurs instances d'HOI lorsqu'elles sont proches les unes des autres. Pour surmonter ces inconvénients, nous proposons un extracteur de caractéristiques basé sur le transformer, dans lequel un mécanisme d'attention et une détection basée sur des requêtes jouent des rôles clés. Le mécanisme d'attention est efficace pour agréger les informations contextuellement importantes à l'échelle de toute l'image, tandis que les requêtes, que nous concevons de manière à ce que chaque requête capture au plus un couple humain-objet, permettent d'éviter le mélange des caractéristiques provenant de plusieurs instances. Cet extracteur de caractéristiques basé sur le transformer produit des plongements si efficaces que les têtes de détection ultérieures peuvent être relativement simples et intuitives. Une analyse approfondie révèle que la méthode proposée réussit à extraire avec succès des caractéristiques contextuellement importantes, surpassant ainsi largement les méthodes existantes (avec une amélioration de 5,37 mAP sur HICO-DET et 5,7 mAP sur V-COCO). Les codes sources sont disponibles à \href\href{https://github.com/hitachi-rd-cv/qpic}{\text{cette adresse URL}}\href.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp
QPIC : Détection d'interactions humaines-objets par paires basée sur des requêtes avec des informations contextuelles à l'échelle de l'image | Articles | HyperAI