Réseau de mémoire neuronique hiérarchique pour un traitement d’événement à faible latence

Ce papier propose une architecture de réseau neuronal à faible latence destinée aux tâches de prédiction dense basées sur les événements. Les architectures conventionnelles encodent le contenu global de la scène à un rythme fixe, indépendamment de ses caractéristiques temporelles. À la place, le réseau proposé encode les contenus à une échelle temporelle adaptée, en fonction de la vitesse de mouvement. Cela est réalisé en construisant une hiérarchie temporelle à l’aide de mémoires latentes empilées fonctionnant à des fréquences différentes. En présence de flux d’événements à faible latence, les mémoires multi-niveaux extraient progressivement les contenus dynamiques vers les contenus statiques en propagant l’information des modules mémoire rapides vers les modules mémoire lents. Cette architecture réduit non seulement la redondance inhérente aux approches conventionnelles, mais exploite également efficacement les dépendances à long terme. En outre, une représentation d’événements basée sur l’attention permet d’encoder de manière efficace les flux d’événements épars dans les cellules mémoire. Nous menons des évaluations approfondies sur trois tâches de prédiction dense basées sur les événements, où la méthode proposée surpasser les approches existantes en termes de précision et de latence, tout en démontrant une capacité efficace de fusion entre événements et images. Le code est disponible à l’adresse suivante : https://hamarh.github.io/hmnet/