HyperAIHyperAI

Command Palette

Search for a command to run...

VisEvent : Suivi d'objets fiable grâce à la collaboration entre flux d'images et flux d'événements

Xiao Wang Jianing Li Lin Zhu Zhipeng Zhang Zhe Chen Xin Li Yaowei Wang Yonghong Tian Feng Wu

Résumé

Contrairement aux caméras visibles qui enregistrent des images d’intensité cadre par cadre, la caméra événement biologiquement inspirée produit un flux d’événements asynchrones et épars, caractérisé par une latence bien plus faible. En pratique, les caméras visibles permettent une meilleure perception des détails de texture et des mouvements lents, tandis que les caméras événementielles sont exemptes de flou de mouvement et offrent une plage dynamique plus étendue, ce qui leur permet de fonctionner efficacement en conditions de mouvement rapide et d’éclairage faible. Par conséquent, ces deux capteurs peuvent coopérer pour assurer un suivi d’objets plus fiable. Dans ce travail, nous proposons un nouveau benchmark à grande échelle pour la fusion visible-événement (nommé VisEvent), en raison du manque de jeu de données réalistes et étendus pour cette tâche. Notre jeu de données comprend 820 paires de vidéos capturées dans des scénarios à faible éclairage, à haute vitesse et avec un arrière-plan encombré, et est divisé en deux sous-ensembles : un ensemble d’entraînement comprenant 500 vidéos et un ensemble de test comprenant 320 vidéos. À partir de VisEvent, nous transformons les flux d’événements en images événementielles et construisons plus de 30 méthodes de référence en étendant les traqueurs mono-modaux existants vers des versions bi-modales. Plus important encore, nous proposons un algorithme de suivi simple mais efficace en introduisant un transformateur inter-modalité, permettant une fusion de caractéristiques plus performante entre les données visuelles et événementielles. Des expériences étendues sur le jeu de données VisEvent proposé, ainsi que sur FE108, COESOT et deux jeux de données simulés (à savoir OTB-DVS et VOT-DVS), valident l’efficacité de notre modèle. Le jeu de données et le code source ont été publiés à l’adresse suivante : \url{https://github.com/wangxiao5791509/VisEvent_SOT_Benchmark}.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp