HyperAIHyperAI

Command Palette

Search for a command to run...

Réseaux de Clustering Multimodal en Sous-espaces Profonds

Mahdi Abavisani Vishal M. Patel

Résumé

Nous présentons des approches basées sur les réseaux de neurones convolutifs (CNN) pour le clustering sous-espace multivoie non supervisé. Le cadre proposé se compose de trois étapes principales : l'encodeur multivoie, la couche auto-explicative et le décodeur multivoie. L'encodeur prend en entrée des données multivoies et les fusionne dans une représentation d'espace latent. La couche auto-explicative est responsable de l'imposition de la propriété d'auto-expression et de l'acquisition d'une matrice d'affinité correspondant aux points de données. Le décodeur reconstruit les données d'entrée originales. Le réseau utilise la distance entre la reconstruction du décodeur et l'entrée originale lors de son entraînement. Nous examinons les techniques de fusion précoce, tardive et intermédiaire, et proposons trois encodeurs différents correspondant à celles-ci pour la fusion spatiale. Les couches auto-explicatives et les décodeurs multivoies sont essentiellement identiques pour différentes approches basées sur la fusion spatiale. En plus des diverses méthodes basées sur la fusion spatiale, un réseau basé sur la fusion d'affinité est également proposé, dans lequel la couche auto-explicative correspondant à différentes modalités est imposée comme étant identique. Des expériences approfondies sur trois jeux de données montrent que les méthodes proposées surpassent significativement les méthodes actuelles de clustering sous-espace multivoie.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp