Simple versus complex récurrences temporelles pour la prédiction de la salience vidéo

Ce travail examine la modification d'une architecture de réseau neuronal existante pour la prédiction de la salience statique en utilisant deux types de récurrences qui intègrent des informations du domaine temporel. La première modification consiste en l'ajout d'un ConvLSTM au sein de l'architecture, tandis que la seconde est une moyenne mobile exponentielle conceptuellement simple d'un état convolutif interne. Nous utilisons des poids pré-entraînés sur le jeu de données SALICON et affinons notre modèle sur DHF1K. Nos résultats montrent que les deux modifications atteignent des performances de pointe et produisent des cartes de salience similaires. Le code source est disponible à l'adresse https://git.io/fjPiB.