ViCE: スーパーピクセル化とクラスタ割り当ての対照による密集表現学習の改善

最近の自己監督モデルは、教師あり手法と同等かそれ以上の性能を示しており、AIシステムが実質的に無限のデータから視覚表現を学習する道を開きました。しかし、これらの手法は一般的に分類に基づいているため、正確な空間情報を保つ高解像度特徴マップの学習には効果的ではありません。本研究では、スーパーピクセルを導入することで、密集した意味豊かな視覚概念埋め込みの自己監督学習を改善することを目指しています。画像を視覚的に一貫性のある少数の領域に分解することで、詳細を保ちつつ計算複雑性を$\mathcal{O}(1000)$程度削減できます。実験結果から、領域間での対照が対照的学習手法の効果性を向上させること、高解像度画像への適用範囲を拡大すること、過剰クラスタリング性能を向上させること、スーパーピクセルがグリッドよりも優れていること、および領域マスキングが性能を向上させることを示しています。当方の密集埋め込みの表現力は、Cityscapesにおける最先端の教師なしセマンティックセグメンテーションベンチマークやCOCOにおける畳み込みモデルでの性能向上により確認されています。