HyperAIHyperAI

Command Palette

Search for a command to run...

動画における運動誘導型自己監督物体発見

Shuangrui Ding; Weidi Xie; Yabo Chen; Rui Qian; Xiaopeng Zhang; Hongkai Xiong; Qi Tian

概要

本論文では、ビデオにおける教師なし物体発見の課題について考察します。従来の研究では、光学フローを処理して物体をセグメンテーションする手法が有望な結果を示しています。しかし、フローを入力として使用すると2つの問題が生じます。まず、物体が静止しているか部分的に遮蔽されている場合、十分な手がかりを得ることができません。次に、テクスチャ情報が欠落しているため、フローのみの入力から時間的な一貫性を確立することが困難です。これらの制約に対処するために、連続するRGBフレームを直接処理するモデルを提案し、任意のフレーム対間の光学フローをレイヤー表現を使用して推定します。ここで、不透明度チャンネルはセグメンテーションとして扱われます。さらに、物体の一貫性を強制するために、異なる速度で動くランダムにペアリングされたフレームから推定されるマスクに対して時間的一貫性損失を適用します。これにより、物体が現在動いていなくてもモデルが物体をセグメンテーションすることを促進します。実験結果では、3つの公開ビデオセグメンテーションデータセット(DAVIS2016, SegTrackv2, および FBMS-59)において既存の最先端手法よりも優れた性能を達成したことを示しています。また、光学フローの計算という入力のオーバーヘッドを回避することで計算効率も高いことを確認しました。


AIでAIを構築

アイデアからローンチまで — 無料のAIコーディング支援、すぐに使える環境、最高のGPU価格でAI開発を加速。

AI コーディング補助
すぐに使える GPU
最適な料金体系

HyperAI Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています
動画における運動誘導型自己監督物体発見 | 記事 | HyperAI超神経