CrOC: Cross-View Online Clustering for Dense Visual Representation Learning CrOC: 適用視点オンラインクラスタリングによる高密度視覚表現学習

ラベルなしで稠密な視覚表現を学習することは困難な課題であり、特にシーン中心のデータから行う場合はさらに難しくなります。本研究では、この挑戦的な問題に取り組むため、クロスビュー一貫性目標とオンラインクラスタリング機構（CrOC）を提案します。これにより、ビューのセマンティクスを発見し、セグメンテーションを行うことが可能となります。手作りの事前情報が不要であるため、提案手法はより汎用的であり、煩雑な前処理ステップも必要としません。さらに重要な点として、クラスタリングアルゴリズムは両方のビューの特徴量に対して同時に行われることから、両ビューに含まれないコンテンツの問題やオブジェクトの曖昧なマッチングを優雅に回避できます。我々は、線形および教師なしセグメンテーション転移タスクにおいて優れた性能を示しており、様々なデータセットやビデオオブジェクトセグメンテーションでも同様の結果を得ています。当該コードおよび事前学習済みモデルは、https://github.com/stegmuel/CrOC で公開されています。