HyperAIHyperAI

Command Palette

Search for a command to run...

ReCo: ゼロショット転移のための検索と共セグメンテーション

Gyungin Shin Weidi Xie Samuel Albanie

概要

意味分割は幅広い応用範囲を持っていますが、その実世界での影響力は、展開を可能にするために必要な高額なアノテーションコストによって大幅に制限されてきました。教師なしのセグメンテーション手法はこれらのコストを回避できますが、ターゲット分布からラベル付きの例を提供して予測結果に概念名を割り当てるという不便な要件があります。言語-画像事前学習に関する最近の研究では、大規模な概念語彙にわたる名付けと分類のゼロショット転移を可能にするモデルの潜在能力が示されていますが、同等のセグメンテーション能力は示されていません。本研究では、これらの2つのアプローチの強みを組み合わせた統合を目指しています。言語-画像事前学習モデルであるCLIPの検索機能を利用して、任意の概念名集合に対して未ラベル画像から訓練セットを動的にキュレーションし、現代的な画像表現によって提供される堅牢な対応関係を利用して、結果的な集合内のエンティティを共通でセグメント化します。合成されたセグメント集合は、次にピクセルラベルを必要とせずにセグメンテーションモデルを構築するために使用され、その概念知識はCLIPのスケーラブルな事前学習プロセスから継承されます。我々は提案手法である「Retrieve and Co-segment(ReCo)」が教師なしセグメンテーション手法よりも有利に動作し、予測結果への名付けとゼロショット転移の利便性を受け継ぐことを示しています。また、ReCoが非常に稀なオブジェクトに対する専門的なセグメンターを生成する能力も示しています。


AIでAIを構築

アイデアからローンチまで — 無料のAIコーディング支援、すぐに使える環境、最高のGPU価格でAI開発を加速。

AI コーディング補助
すぐに使える GPU
最適な料金体系

HyperAI Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています
ReCo: ゼロショット転移のための検索と共セグメンテーション | 記事 | HyperAI超神経