Réseau neuronal graphique de contenu de frontière pour la génération de propositions d'actions temporelles

La génération de propositions d'actions temporelles joue un rôle crucial dans la compréhension des actions vidéo, nécessitant une localisation précise du contenu d'action de haute qualité. Cependant, générer des propositions temporelles avec à la fois des limites précises et un contenu d'action de haute qualité est extrêmement difficile. Pour résoudre ce problème, nous proposons un nouveau réseau neuronal graphique de frontières et de contenu (BC-GNN) pour modéliser les relations pertinentes entre les frontières et le contenu d'action des propositions temporelles grâce aux réseaux neuronaux graphiques. Dans le BC-GNN, les frontières et le contenu des propositions temporelles sont considérés comme les nœuds et les arêtes du réseau neuronal graphique, respectivement, où ils sont liés spontanément. Ensuite, une nouvelle opération de calcul graphique est proposée pour mettre à jour les caractéristiques des arêtes et des nœuds. Par la suite, une arête mise à jour et les deux nœuds qu'elle relie sont utilisés pour prédire les probabilités de frontière et le score de confiance du contenu, qui seront combinés pour générer une proposition finale de haute qualité. Des expériences ont été menées sur deux ensembles de données principaux : ActivityNet-1.3 et THUMOS14. Sans ajouts superflus, le BC-GNN surpassent les méthodes précédentes de pointe dans les tâches de génération de propositions d'actions temporelles et de détection d'actions temporelles.