HyperAIHyperAI

Command Palette

Search for a command to run...

Réduction de la confusion sémantique : réseau d’agrégation conscient du contexte pour la recherche multimodale en télédétection

Cong Bai Qing Ma Jiancheng Pan

Résumé

Récemment, la recherche sur la récupération multimodale à distance par télédétection a suscité un intérêt considérable de la part des chercheurs. Toutefois, la nature particulière des images satellitaires engendre de nombreuses zones de confusion sémantique dans l’espace sémantique, ce qui affecte fortement les performances de récupération. Nous proposons un nouveau réseau d’agrégation sensible aux scènes, appelé SWAN (Scene-aware WaVelet Aggregation Network), afin de réduire cette confusion sémantique en améliorant la capacité de perception des scènes. Dans la représentation visuelle, un module de fusion multiscale visuelle (VMSF) est introduit pour fusionner des caractéristiques visuelles à différentes échelles, servant de squelette de représentation visuelle. Parallèlement, un module de perception fine des scènes (SFGS) est proposé pour établir des associations entre des caractéristiques saillantes à différentes granularités. Une représentation visuelle agrégée sensible aux scènes est ainsi formée à partir des informations visuelles générées par ces deux modules. Dans la représentation textuelle, un module d’amélioration grossière du texte (TCGE) est conçu pour enrichir la sémantique du texte et assurer une meilleure alignement avec l’information visuelle. En outre, compte tenu du fait que la diversité et la différenciation des scènes de télédétection affaiblissent la compréhension globale des scènes, nous introduisons une nouvelle métrique, nommée rappel de scène (scene recall), pour évaluer la perception des scènes via la performance de récupération au niveau de la scène, ce qui permet également de vérifier l’efficacité de notre approche dans la réduction de la confusion sémantique. À travers des comparaisons de performances, des études d’ablation et une analyse visuelle, nous avons validé l’efficacité et la supériorité de notre méthode sur deux jeux de données, RSICD et RSITMD. Le code source est disponible à l’adresse suivante : https://github.com/kinshingpoon/SWAN-pytorch.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp