要約
ラベルのない原始画像のクラスタリングは、近年深層学習手法によってある程度の成功が収められてきたが、依然として困難な課題である。本研究では、エンドツーエンドの方式で深層ニューラルネットワークを学習し、追加の処理を必要とせずに画像のクラスタ割り当てを直接得られる、非教師ありクラスタリングフレームワークを提案する。多モーダル深層クラスタリング（MMDC）は、ガウス混合モデル（GMM）からサンプリングされたターゲットポイントと画像埋め込みを一致させるように深層ネットワークを学習する。その後、画像埋め込みの混合成分への関連付けによってクラスタ割り当てが決定される。同時に、同一の深層ネットワークは、画像の回転予測という自己教師ありタスクを解くようにも学習される。これにより、より意味のある画像表現を学習するよう促され、結果としてより優れたクラスタリング性能が得られる。実験結果から、MMDCは6つの挑戦的なベンチマークにおいて、既存の最先端手法と同等またはそれを上回る性能を達成した。自然画像データセットにおいては、従来の結果から最大で20%の絶対的精度向上を実現し、CIFAR-10では82%、CIFAR-100では45%、STL-10では69%の精度を達成した。