Réseaux en cascade sensibles aux frontières pour la segmentation temporelle des actions

L’identification des segments d’actions humaines dans une vidéo non coupée reste un défi en raison des ambiguïtés aux frontières et des problèmes de sur-segmentation. Pour relever ces défis, nous proposons un nouveau réseau en cascade sensible aux frontières, en introduisant deux composants novateurs. Premièrement, nous proposons un nouveau paradigme en cascade, appelé Stage Cascade, qui permet à notre modèle d’acquérir des champs réceptifs adaptatifs et des prédictions plus fiables pour les trames ambigües. Deuxièmement, nous concevons une opération de lissage générale et fondée sur des principes, nommée pooling par barrière locale, permettant d’agréger les prédictions locales en exploitant les informations sémantiques des frontières. En outre, ces deux composants peuvent être ajustés conjointement de manière end-to-end. Nous menons des expériences sur trois jeux de données exigeants : 50Salads, GTEA et Breakfast, démontrant que notre cadre surpasser significativement les méthodes actuelles de l’état de l’art. Le code est disponible à l’adresse suivante : https://github.com/MCG-NJU/BCN.