因果介入を用いた弱教師付きセマンティックセグメンテーション

我々は、弱教師付きセマンティックセグメンテーション（WSSS）の性能向上を目的とした因果推論フレームワークを提案する。具体的には、画像レベルのラベルのみを用いて、より優れたピクセルレベルの擬似マスクを生成することを目指す——これはWSSSにおいて最も重要なステップである。擬似マスクの境界が曖昧になる原因を、交絡要因（confounding context）に起因すると捉える。たとえば、「馬」と「人間」の画像ラベルが正しく分類される場合、それは単に各インスタンスの認識によるものではなく、それらが共起する文脈の影響も含まれるため、モデルの可視化手法（例：CAM）が境界を明確に識別することが困難になる。この洞察に基づき、画像、文脈、クラスラベルの間の因果関係を分析する構造的因果モデルを提案する。このモデルを基盤に、画像レベル分類における交絡バイアスを除去する新しい手法「コンテキスト調整（Context Adjustment, CONTA）」を構築した。これにより、後続のセグメンテーションモデルの教師データとしてより質の高い擬似マスクを提供できる。PASCAL VOC 2012およびMS-COCOデータセットにおいて、CONTAが複数の代表的なWSSS手法を新たなSOTA（最新の最先端性能）にまで向上させることを実証した。