要約
非監督的な意味分割は、人間によるラベリングなしで高品質な意味的なグループ化を達成することを目指しています。自己監督型事前学習の登場により、様々なフレームワークが事前学習された特徴量を使用して、非監督的な密集予測のための予測ヘッドを訓練しています。しかし、この非監督設定において重要な課題は、概念のセグメンテーションに必要な適切なクラスタリングレベルを決定することです。これを解決するために、我々は因果推論からの洞察を利用した新しいフレームワークである「因果非監督的意味分割（CAUSE）」を提案します。具体的には、介入指向アプローチ（つまり、フロントドア調整）を橋渡しすることで、非監督予測に適した二段階タスクを定義します。第一段階では、異なる粒度レベルでの可能な概念プロトタイプを離散化した形で表現する概念クラスターブックを構築します。次に、この中間者がピクセルレベルのグループ化を行う概念別の自己監督学習と明確なリンクを確立します。様々なデータセットにおける広範な実験と分析を通じて、CAUSEの有効性を確認し、非監督的な意味分割において最先端の性能を達成しました。