HyperAIHyperAI

Command Palette

Search for a command to run...

TranSalNet : Vers une prédiction de la salience visuelle pertinentes au niveau perceptuel

Jianxun Lou Hanhe Lin David Marshall Dietmar Saupe Hantao Liu

Résumé

Prédiction de la saliency visuelle à l’aide de transformateurs – Les réseaux de neurones convolutifs (CNN) ont considérablement progressé dans le domaine du modélisation computationnelle de la saliency. Toutefois, la simulation précise des mécanismes de l’attention visuelle dans le cortex humain demeure un défi académique majeur. Il est essentiel d’intégrer les propriétés de la vision humaine dans la conception des architectures de CNN afin d’obtenir des prédictions de saliency plus pertinentes du point de vue perceptif. En raison des biais inductifs inhérents aux architectures CNN, celles-ci manquent d’une capacité suffisante à encoder des contextes à longue portée, ce qui limite leur capacité à capturer des propriétés proches du comportement d’observation humain. Les transformateurs se sont révélés particulièrement prometteurs pour encoder des informations à longue portée grâce à leur mécanisme d’attention auto-attention. Dans cet article, nous proposons un nouveau modèle de saliency intégrant des composants transformateurs aux CNN afin de capter les informations visuelles contextuelles à longue portée. Les résultats expérimentaux montrent que les transformateurs apportent une valeur ajoutée significative à la prédiction de la saliency, améliorant ainsi sa pertinence perceptuelle. Notre modèle de saliency, basé sur les transformateurs et intitulé TranSalNet, a obtenu des performances supérieures sur plusieurs benchmarks publics et concours dédiés à la prédiction de la saliency.Le code source de notre modèle de saliency proposé, TranSalNet, est disponible à l’adresse suivante : https://github.com/LJOVO/TranSalNet


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp