HyperAIHyperAI

Command Palette

Search for a command to run...

Masquage aléatoire complémentaire pour la segmentation sémantique RGB-thermique

Ukcheol Shin; Kyunghyun Lee; In So Kweon; Jean Oh

Résumé

La segmentation sémantique RGB-thermique est une solution potentielle pour atteindre une compréhension sémantique fiable des scènes dans des conditions météorologiques et d'éclairage défavorables. Cependant, les études précédentes se concentrent principalement sur la conception d'un module de fusion multi-modale sans tenir compte de la nature des entrées multi-modales. Par conséquent, les réseaux deviennent facilement trop dépendants d'une seule modalité, ce qui rend difficile l'apprentissage de représentations complémentaires et significatives pour chaque modalité. Cet article propose 1) une stratégie de masquage aléatoire complémentaire des images RGB-T et 2) une perte de distillation auto entre les modalités d'entrée propres et masquées. La stratégie de masquage proposée empêche la dépendance excessive à une seule modalité. Elle améliore également la précision et la robustesse du réseau neuronal en le forçant à segmenter et classer les objets même lorsque l'une des modalités n'est que partiellement disponible. De plus, la perte de distillation auto proposée encourage le réseau à extraire des représentations complémentaires et significatives d'une seule modalité ou de modalités masquées complémentaires. Grâce à cette méthode proposée, nous obtenons des performances de pointe sur trois benchmarks de segmentation sémantique RGB-T. Notre code source est disponible à l'adresse suivante : https://github.com/UkcheolShin/CRM_RGBTSeg.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp
Masquage aléatoire complémentaire pour la segmentation sémantique RGB-thermique | Articles | HyperAI