Global2Local : Recherche efficace de structure pour la segmentation d'actions vidéo

Les champs réceptifs temporels des modèles jouent un rôle crucial dans la segmentation des actions. Des champs réceptifs étendus facilitent la capture des relations à long terme entre les segments vidéo, tandis que des champs plus petits permettent de capter les détails locaux. Les méthodes existantes conçoivent des modèles à l’aide de champs réceptifs prédéfinis manuellement au sein des couches. Peut-on rechercher efficacement des combinaisons de champs réceptifs afin de remplacer ces schémas conçus à la main ? Pour répondre à cette question, nous proposons une stratégie de recherche globale vers locale afin d’identifier des combinaisons de champs réceptifs améliorées. Notre approche exploite à la fois une recherche globale, permettant de découvrir des combinaisons grossières au-delà des schémas humains, et une recherche locale itérative guidée par l’espérance, afin d’affiner davantage les motifs de combinaisons. Cette recherche globale vers locale peut être intégrée aux méthodes existantes de segmentation d’actions afin d’atteindre des performances de pointe.