Résumé et Recherche : Apprentissage de la convolution dynamique consciente du consensus pour la détection de co-saliences

Les humains réalisent la détection de co-saliences en résumant d'abord les connaissances consensuelles au sein du groupe entier, puis en recherchant les objets correspondants dans chaque image. Les méthodes précédentes manquent généralement de robustesse, de scalabilité ou de stabilité pour le premier processus et fusionnent simplement les caractéristiques consensuelles avec les caractéristiques des images pour le second processus. Dans cet article, nous proposons un nouveau modèle de convolution dynamique sensible au consensus pour effectuer explicitement et efficacement le processus de « résumé et recherche ». Pour résumer les caractéristiques d'images consensuelles, nous utilisons d'abord une méthode de poolage efficace pour résumer des caractéristiques robustes pour chaque image individuelle, puis nous agrégons des indices de consensus inter-images via le mécanisme d'auto-attention. Grâce à cette approche, notre modèle répond aux exigences de scalabilité et de stabilité. Ensuite, nous générons des noyaux dynamiques à partir des caractéristiques consensuelles pour encoder les connaissances consensuelles résumées. Deux types de noyaux sont générés de manière complémentaire : l'un pour résumer les indices d'objets spécifiques aux images à grain fin (fine-grained image-specific consensus object cues), et l'autre pour capturer les connaissances communes au groupe à grain grossier (coarse group-wise common knowledge). Ensuite, nous pouvons effectuer efficacement la recherche d'objets en utilisant la convolution dynamique à plusieurs échelles. Par ailleurs, une nouvelle méthode de synthèse de données efficace est également proposée pour entraîner notre réseau. Les résultats expérimentaux sur quatre jeux de données基准数据集验证了我们提出的方法的有效性。 Notre code ainsi que nos cartes de saillance sont disponibles sur \url{https://github.com/nnizhang/CADC}.注：在最后一句中，“基准数据集”被翻译为“jeux de données benchmark”，以符合法语文献中的常用表达。