HyperAIHyperAI

Command Palette

Search for a command to run...

Anticipation à court terme des interactions avec les objets grâce à la détection d'objets dissociée @ Défi d'anticipation à court terme des interactions avec les objets d'Ego4D

Hyunjin Cho; Dong Un Kang; Se Young Chun

Résumé

L'anticipation des interactions à court terme avec des objets est une tâche importante dans l'analyse des vidéos égocentriques, incluant des prédictions précises des interactions futures et de leurs moments, ainsi que les catégories et les positions des objets actifs impliqués. Pour atténuer la complexité de cette tâche, notre méthode proposée, SOIA-DOD (Short-term Object Interaction Anticipation - Detection and Object Decomposition), la décompose efficacement en 1) la détection d'objets actifs et 2) la classification des interactions et la prédiction de leur moment. Notre méthode détecte d'abord tous les objets actifs potentiels dans le dernier cadre de la vidéo égocentrique en affinant un YOLOv9 pré-entraîné. Ensuite, nous combinons ces objets actifs potentiels comme requêtes avec un encodeur de transformer, permettant ainsi d'identifier l'objet actif suivant le plus prometteur et de prédire son interaction future et son temps avant contact. Les résultats expérimentaux montrent que notre méthode surpasse les modèles de pointe sur l'ensemble de tests du défi, obtenant les meilleures performances dans la prédiction des objets actifs suivants et de leurs interactions. Enfin, notre proposition s'est classée troisième au total pour le top-5 mAP (mean Average Precision) lorsque les prédictions du temps avant contact sont incluses. Le code source est disponible à l'adresse https://github.com/KeenyJin/SOIA-DOD.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp