Réseaux de Clustering Multimodal en Sous-espaces Profonds

Nous présentons des approches basées sur les réseaux de neurones convolutifs (CNN) pour le clustering sous-espace multivoie non supervisé. Le cadre proposé se compose de trois étapes principales : l'encodeur multivoie, la couche auto-explicative et le décodeur multivoie. L'encodeur prend en entrée des données multivoies et les fusionne dans une représentation d'espace latent. La couche auto-explicative est responsable de l'imposition de la propriété d'auto-expression et de l'acquisition d'une matrice d'affinité correspondant aux points de données. Le décodeur reconstruit les données d'entrée originales. Le réseau utilise la distance entre la reconstruction du décodeur et l'entrée originale lors de son entraînement. Nous examinons les techniques de fusion précoce, tardive et intermédiaire, et proposons trois encodeurs différents correspondant à celles-ci pour la fusion spatiale. Les couches auto-explicatives et les décodeurs multivoies sont essentiellement identiques pour différentes approches basées sur la fusion spatiale. En plus des diverses méthodes basées sur la fusion spatiale, un réseau basé sur la fusion d'affinité est également proposé, dans lequel la couche auto-explicative correspondant à différentes modalités est imposée comme étant identique. Des expériences approfondies sur trois jeux de données montrent que les méthodes proposées surpassent significativement les méthodes actuelles de clustering sous-espace multivoie.