HyperAIHyperAI

Command Palette

Search for a command to run...

Transformateurs collaboratifs pour la reconnaissance de situations ancrées

Cho Junhyeong ; Yoon Youngseok ; Kwak Suha

Résumé

La reconnaissance de situation ancrée est la tâche consistant à prédire l'activité principale, les entités jouant certains rôles au sein de cette activité, et les encadrements (bounding boxes) des entités dans l'image donnée. Pour traiter efficacement ce défi, nous introduisons une nouvelle approche où les deux processus de classification d'activités et d'estimation d'entités sont interactifs et complémentaires. Pour mettre en œuvre cette idée, nous proposons le Collaborative Glance-Gaze TransFormer (CoFormer), qui comprend deux modules : le Glance transformer pour la classification d'activités et le Gaze transformer pour l'estimation d'entités. Le Glance transformer prédit l'activité principale avec l'aide du Gaze transformer qui analyse les entités et leurs relations, tandis que le Gaze transformer estime les entités ancrées en se concentrant uniquement sur les entités pertinentes à l'activité prédite par le Glance transformer. Notre CoFormer atteint l'état de l'art dans toutes les métriques d'évaluation sur le jeu de données SWiG. Le code d'entraînement et les poids du modèle sont disponibles à l'adresse suivante : https://github.com/jhcho99/CoFormer.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp