Command Palette

Search for a command to run...

4ヶ月前

CLIPにおける地域的ヒントの探索によるゼロショットセマンティックセグメンテーション

{Shi-Min Hu Miao Wang Meng-Hao Guo Yi Zhang}

CLIPにおける地域的ヒントの探索によるゼロショットセマンティックセグメンテーション

要約

CLIPは、大規模な画像・テキストペアを用いた強力な事前学習により、視覚認識分野で顕著な進展を示している。しかし、依然として重要な課題が残っている:画像レベルの知識を、セマンティックセグメンテーションのようなピクセルレベルの理解タスクにどのように転移するかである。本論文では、この課題を解決するため、CLIPモデルの能力とゼロショットセマンティックセグメンテーションタスクの要件との間に存在するギャップを分析する。この分析と観察に基づき、我々は「CLIP-RC(CLIP with Regional Clues)」と名付けたゼロショットセマンティックセグメンテーションのための新規手法を提案する。本手法は以下の2つの主要な知見に基づいている。第一に、細粒度の意味情報を提供するために、領域レベルの橋渡し機構が不可欠である。第二に、学習段階において過剰適合(overfitting)を抑制する必要がある。これらの発見を活かしたCLIP-RCは、PASCAL VOC、PASCAL Context、COCO-Stuff 164Kを含むさまざまなゼロショットセマンティックセグメンテーションベンチマークにおいて、最先端の性能を達成した。コードは、https://github.com/Jittor/JSeg にて公開される予定である。

ベンチマーク

ベンチマーク方法論指標
zero-shot-semantic-segmentation-on-coco-stuffCLIP-RC
Inductive Setting hIoU: 41.2
Transductive Setting hIoU: 49.7
zero-shot-semantic-segmentation-on-pascal-vocCLIP-RC
Inductive Setting hIoU: 88.4
Transductive Setting hIoU: 93.0

AI で AI を構築

アイデアからローンチまで — 無料の AI 共同コーディング、すぐに使える環境、最適価格の GPU で AI 開発を加速。

AI 共同コーディング
すぐに使える GPU
最適価格
今すぐ始める

Hyper Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています
CLIPにおける地域的ヒントの探索によるゼロショットセマンティックセグメンテーション | 論文 | HyperAI超神経