事前学習モデルを用いた深層画像クラスタリングの限界を探る

本稿では、事前学習された特徴抽出器を活用してラベルなし画像分類を行うための一般的な手法を提示する。本手法は、事前学習された特徴空間における最近傍の画像が同一のラベルを持つ可能性が高いという事実に基づき、クラスタリングヘッドの自己蒸留学習を実施する。さらに、点ごとの相互情報量（pointwise mutual information）の変種を導入するとともにインスタンス重み付けを組み合わせることで、画像特徴間の関連性を学習する新たな目的関数を提案する。実験により、提案する目的関数が誤検出ペアの影響を抑制しつつ、事前学習された特徴空間に内在する構造を効率的に活用できることを示した。その結果、17種類の事前学習モデルに対してk-means法と比較して、ImageNetでは6.1%、CIFAR100では12.2%のクラスタリング精度向上を達成した。最終的に、自己教師付きビジョン変換器（self-supervised vision transformers）を用いることで、ImageNet上でのクラスタリング精度を61.6%まで向上させた。本研究のコードは、https://github.com/HHU-MMBS/TEMI-official-BMVC2023 にて公開されている。