要約
本論文では、ラベル付きおよびラベルなしの画像セットが与えられた状況下で、ラベルなしの画像セット内のすべての画像を分類する非常に一般的な画像認識設定について考察します。ここで、ラベルなしの画像は既知のクラスまたは新規のクラスから来ることがあります。既存の認識手法はこの設定に対応できていないため、ラベルなしのインスタンスが既知または未知のクラスからのみ来ること、未知のクラス数が事前に既知であるなどの制約的な仮定を多くしています。私たちはより自由度の高い設定に取り組み、「汎用カテゴリ発見（Generalized Category Discovery）」と命名し、これらの仮定に挑戦します。まず、新規カテゴリ発見に関する最先端アルゴリズムを取り上げ、それらをこのタスクに適応させることで強力なベースラインを確立します。次に、オープンワールド設定での対応のためにコントラスト表現学習を使用したビジョントランスフォーマーの利用を提案します。さらに、単純ながら効果的な半教師あり$k$-平均法を導入し、ラベルなしデータを自動的に既知および未知のクラスにクラスタリングすることでベースラインを大幅に上回る性能を達成しました。最後に、ラベルなしデータ内のクラス数を推定する新しい手法も提案しています。私たちはこのアプローチを一般的な物体分類用パブリックデータセットおよび細かい特徴を持つデータセットで評価し、最近開発された意味的シフトベンチマークスイートを利用しました。プロジェクトページ: https://www.robots.ox.ac.uk/~vgg/research/gcd