BSN : Réseau sensible aux frontières pour la génération de propositions d'actions temporelles

La génération de propositions d'actions temporelles est un problème important mais difficile, car des propositions temporelles riches en contenu d'action sont indispensables pour analyser des vidéos de longue durée et à forte proportion de contenu non pertinent dans le monde réel. Ce problème nécessite non seulement la génération de propositions avec des limites temporelles précises, mais aussi la récupération de propositions couvrant les instances d'actions réelles avec un taux de rappel élevé et une grande superposition en utilisant relativement peu de propositions. Pour surmonter ces difficultés, nous introduisons une méthode efficace de génération de propositions, nommée Réseau Sensible aux Limites (Boundary-Sensitive Network - BSN), qui adopte une approche « local vers global ». Localement, BSN identifie d'abord les limites temporelles avec une probabilité élevée, puis combine directement ces limites en propositions. Globalement, grâce à la caractéristique de Proposition Sensible aux Limites, BSN évalue la confiance qu'une proposition contient une action au sein de sa région pour sélectionner les propositions. Nous menons des expériences sur deux jeux de données difficiles : ActivityNet-1.3 et THUMOS14, où BSN surpassent les autres méthodes actuelles de génération de propositions d'actions temporelles avec un taux de rappel élevé et une précision temporelle élevée. Enfin, des expériences supplémentaires montrent que notre méthode améliore considérablement les performances actuelles de détection d'actions temporelles lorsqu'elle est combinée avec des classifieurs d'actions existants.