要約
私たちは、教師なし多モーダル部分空間クラスタリングのための畳み込みニューラルネットワーク（CNN）に基づく手法を提案します。提案されたフレームワークは、多モーダルエンコーダ、自己表現層、および多モーダルデコーダという3つの主要なステージで構成されています。エンコーダは多モーダルデータを入力として受け取り、それらを潜在空間表現に融合します。自己表現層は、自己表現性の特性を強制し、データポイントに対応する親和性行列を取得することを担当します。デコーダは元の入力データを再構成します。ネットワークは、訓練中にデコーダの再構成と元の入力との距離を使用します。私たちは初期融合、後期融合、中間融合技術を探求し、それぞれに対応する3種類のエンコーダを提案します。自己表現層と多モーダルデコーダは、異なる空間融合ベースの手法において基本的に同じです。さまざまな空間融合ベースの方法に加えて、異なるモーダリティに対応する自己表現層が同一であることを強制する親和性融合ベースのネットワークも提案しています。3つのデータセットでの広範な実験により、提案された手法が最先端の多モーダル部分空間クラスタリング手法に対して著しく優れていることが示されました。