HyperAIHyperAI

Command Palette

Search for a command to run...

弱教師付き視覚関係学習

Julia Peyre; Ivan Laptev; Cordelia Schmid; Josef Sivic

概要

本論文では、物体のペア間の視覚的な関係をモデル化する新しい手法を提案します。ここでいう「関係」は、(主語、述語、目的語)という形式の三つ組であり、述語は一般的に前置詞(例:「下に」、「前に」)または動詞(「持つ」、「乗る」)で、二つの物体(主語と目的語)を結びつけます。このような関係を学習することは、物体が発生する関係によって異なる空間構成や外観を持つため、困難を伴います。また、すべての可能な三つ組に対してボックスレベルでの注釈を得るのが難しいという大きな課題があり、これにより学習と評価が難しくなります。本論文の貢献は以下の三点です。第一に、物体のペアの外観と空間構成を符号化する強力かつ柔軟な視覚特徴量を設計しました。第二に、画像レベルのラベルのみから関係を学習する弱教師付き判別クラスタリングモデルを提案しました。第三に、新しい挑戦的なデータセットである非日常的な関係データセット(UnRel)とその詳細な注釈を導入し、視覚的関係検索の正確な評価が可能になりました。実験結果から、当社のモデルは視覚的関係データセットにおいて最先端の成果を示し、未見の関係(ゼロショット学習)における性能向上に大きく寄与することを確認しています。さらに、新規導入したUnRelデータセットでも同様の観察結果を得ています。


AIでAIを構築

アイデアからローンチまで — 無料のAIコーディング支援、すぐに使える環境、最高のGPU価格でAI開発を加速。

AI コーディング補助
すぐに使える GPU
最適な料金体系

HyperAI Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています