TempSAL - Découverte des informations temporelles pour la prédiction profonde de la salience

Les algorithmes de prédiction de salience profonde complètent les fonctionnalités de reconnaissance d’objets en s’appuyant généralement sur des informations supplémentaires telles que le contexte scénique, les relations sémantiques, la direction du regard et la dissimilarité entre objets. Toutefois, aucun de ces modèles ne prend en compte la nature temporelle des déplacements du regard pendant l’observation d’une image. Nous introduisons un nouveau modèle de prédiction de salience qui apprend à produire des cartes de salience à intervalles temporels successifs en exploitant les motifs temporels d’attention humaine. Notre approche module localement les prédictions de salience en combinant les cartes temporelles apprises. Nos expériences montrent que notre méthode surpasser les modèles de pointe actuels, y compris un modèle de salience multi-durée, sur le benchmark SALICON et le jeu de données CodeCharts1k. Le code de notre travail est disponible publiquement sur GitHub.