Anticipation à court terme des interactions avec les objets grâce à la détection d'objets dissociée @ Défi d'anticipation à court terme des interactions avec les objets d'Ego4D

L'anticipation des interactions à court terme avec des objets est une tâche importante dans l'analyse des vidéos égocentriques, incluant des prédictions précises des interactions futures et de leurs moments, ainsi que les catégories et les positions des objets actifs impliqués. Pour atténuer la complexité de cette tâche, notre méthode proposée, SOIA-DOD (Short-term Object Interaction Anticipation - Detection and Object Decomposition), la décompose efficacement en 1) la détection d'objets actifs et 2) la classification des interactions et la prédiction de leur moment. Notre méthode détecte d'abord tous les objets actifs potentiels dans le dernier cadre de la vidéo égocentrique en affinant un YOLOv9 pré-entraîné. Ensuite, nous combinons ces objets actifs potentiels comme requêtes avec un encodeur de transformer, permettant ainsi d'identifier l'objet actif suivant le plus prometteur et de prédire son interaction future et son temps avant contact. Les résultats expérimentaux montrent que notre méthode surpasse les modèles de pointe sur l'ensemble de tests du défi, obtenant les meilleures performances dans la prédiction des objets actifs suivants et de leurs interactions. Enfin, notre proposition s'est classée troisième au total pour le top-5 mAP (mean Average Precision) lorsque les prédictions du temps avant contact sont incluses. Le code source est disponible à l'adresse https://github.com/KeenyJin/SOIA-DOD.