HyperAIHyperAI

Command Palette

Search for a command to run...

SynthRef:オブジェクトセグメンテーションのための合成参照表現の生成

Ioannis Kazakos Carles Ventura Miriam Bellver Carina Silberer Xavier Giro-i-Nieto

概要

ディープラーニングの最近の進展により、言語誘導型動画オブジェクトセグメンテーションを含む視覚的接地(visual grounding)タスクにおいて顕著な進歩がもたらされた。しかし、これらのタスクに向けた大規模なデータセットを収集するには、アノテーションにかかる時間コストが非常に高いため、それが大きなボトルネックとなっている。こうした課題に対応するため、本研究では画像(または動画フレーム内の)ターゲットオブジェクトに対して合成された参照表現(synthetic referring expressions)を生成する新たな手法、SynthRefを提案する。さらに、動画オブジェクトセグメンテーション用に合成参照表現を備えた初めての大規模データセットを構築し、公開した。実験の結果、我々が生成した合成参照表現を用いて学習することで、追加のアノテーションコストを一切かけずに、モデルの異なるデータセット間での汎化能力が向上することが明らかになった。また、本手法の定式化は、任意のオブジェクト検出またはセグメンテーションデータセットへの適用を可能としている。


AIでAIを構築

アイデアからローンチまで — 無料のAIコーディング支援、すぐに使える環境、最高のGPU価格でAI開発を加速。

AI コーディング補助
すぐに使える GPU
最適な料金体系

HyperAI Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています