HyperAIHyperAI

Command Palette

Search for a command to run...

il y a 4 mois

ChangeCLIP : Détection de changement en télédétection par apprentissage multimodal de représentations vision-langage

{Xiaoliang Meng Bo Du Libo Wang Sijun Dong}

Résumé

La détection de changements par télédétection (RSCD), dont l'objectif est d'identifier les modifications de surface à partir d'images bitemporelles, revêt une importance capitale pour de nombreuses applications, telles que la protection de l'environnement ou la surveillance des catastrophes. Au cours de la dernière décennie, portée par la vague de l'intelligence artificielle, une grande variété de méthodes de détection de changements fondées sur l'apprentissage profond ont émergé et ont permis des avancées essentielles. Toutefois, ces approches accordent une attention croissante à l'apprentissage des représentations visuelles tout en négligeant le potentiel des données multimodales. Récemment, les modèles fondamentaux vision-langage, tels que CLIP, ont ouvert une nouvelle voie pour l'intelligence artificielle multimodale, démontrant des performances remarquables sur diverses tâches en aval. S'appuyant sur cette tendance, cette étude présente ChangeCLIP, un cadre novateur qui exploite l'information sémantique robuste issue de paires image-texte, spécifiquement conçu pour la détection de changements en télédétection (RSCD). Plus précisément, nous reconstruisons le modèle CLIP original afin d'extraire des caractéristiques bitemporelles, et proposons un nouveau module de compensation des caractéristiques différentielles, permettant de capturer les changements sémantiques détaillés entre les deux périodes. Par ailleurs, nous introduisons un décodeur piloté par vision-langage, combinant les résultats de l'encodage image-texte avec les caractéristiques visuelles issues de l'étape de décodage, afin d'améliorer la richesse sémantique des images. Le modèle ChangeCLIP atteint des performances de pointe en termes d'indice de Jaccard (IoU) sur cinq jeux de données célèbres pour la détection de changements : LEVIR-CD (85,20 %), LEVIR-CD+ (75,63 %), WHUCD (90,15 %), CDD (95,87 %) et SYSU-CD (71,41 %). Le code source et les modèles pré-entraînés de ChangeCLIP seront rendus accessibles publiquement sur https://github.com/dyzy41/ChangeCLIP.

Benchmarks

BenchmarkMéthodologieMétriques
change-detection-on-cdd-dataset-season-1ChangeCLIP
F1: 97.89
F1-Score: 97.89
IoU: 95.87
Overall Accuracy: 99.48
Precision: 98.02
Recall: 97.77
change-detection-on-levir-cdChangeCLIP
F1: 92.01
IoU: 85.20
Overall Accuracy: 99.20
Precision: 93.40
Recall: 90.67

Construire l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec du co-codage IA gratuit, un environnement prêt à l'emploi et les meilleurs prix GPU.

Co-codage IA
GPU prêts à utiliser
Meilleurs prix
Commencer

Hyper Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp
ChangeCLIP : Détection de changement en télédétection par apprentissage multimodal de représentations vision-langage | Articles de recherche | HyperAI