セマンティック補助キャリブレーションを用いたオープンボリュームセグメンテーション

本稿では、CLIPの汎化された文脈的事前知識を用いて、語彙内埋め込みとドメイン偏りのある埋め込み空間を補正することで、オープンボリュームセグメンテーション（OVS）を検討する。オープンボリューム理解の核となる視覚的コンテンツと無制限なテキスト意味の整合性は、この分野における主要な課題となっている。この課題に対処するため、最近の研究ではCLIPを追加の分類器として活用し、モデル予測をCLIPの分類結果と統合する手法が提案されている。これらの手法は顕著な進展を遂げているが、教師あり手法と比較して、実用的なシナリオにおけるOVS手法の性能は依然として満足のいかないものである。その原因として、語彙内埋め込みとドメイン偏りのあるCLIP予測が挙げられる。これに対応して、本研究では意味情報に基づく補正ネットワーク（Semantic-assisted CAlibration Network; SCAN）を提案する。SCANでは、提案された埋め込みにCLIPの汎化された意味的事前知識を組み込むことで、既知のカテゴリに陥落する現象を回避する。さらに、グローバルな文脈の欠如や不自然な背景ノイズを軽減するため、文脈シフト戦略を導入する。上記の設計により、SCANはすべての主要なオープンボリュームセグメンテーションベンチマークにおいて最先端の性能を達成した。また、従来の評価システムがカテゴリ間の意味的重複を無視しているという問題に着目し、新たな評価指標として意味に基づくIoU（Semantic-Guided IoU; SG-IoU）を提案する。