2ヶ月前

オンライン制約付きK平均による教師なし視覚表現学習

Qi Qian; Yuanhong Xu; Juhua Hu; Hao Li; Rong Jin
オンライン制約付きK平均による教師なし視覚表現学習
要約

クラスターディスクリミネーションは、教師なし表現学習の効果的な前処理タスクであり、通常はクラスタリングとディスクリミネーションの2つのフェーズで構成されています。クラスタリングは、各インスタンスに疑似ラベルを割り当て、これがディスクリミネーションで表現を学習するために使用されます。主な課題はクラスタリングにあります。一般的なクラスタリング手法(例:k-means)はバッチモードで実行する必要があり、また支配的なクラスターからなる自明な解が存在する可能性があります。これらの課題に対処するために、まずクラスタリングに基づく表現学習の目的を調査しました。その結果に基づき、オンライン \textbf{Co}nstrained \textbf{K}-m\textbf{e}ans (\textbf{CoKe}) を用いた新しいクラスタリングベースの前処理タスクを提案します。平衡クラスタリング(各クラスターが正確に同じサイズを持つ)と比較して、各クラスターの最小サイズのみを制約することで、データの内在的な構造を柔軟に捉えることができます。さらに重要な点は、私たちのオンライン割り当て手法が理論的にグローバル最適解に近づくことを保証していることです。クラスタリングとディスクリミネーションを分離することにより、CoKe は各インスタンスから単一ビューのみを使用して最適化を行うことで競争力のある性能を達成できます。ImageNet および他のベンチマークデータセットでの広範な実験により、提案手法の有効性と効率性が確認されました。コードは \url{https://github.com/idstcv/CoKe} で入手可能です。