HyperAIHyperAI

Command Palette

Search for a command to run...

ポーズベースのモジュール型ネットワークによる人間-オブジェクトインタラクション検出

Zhijun Liang Junfa Liu Yisheng Guan Juan Rojas

概要

人間-物体インタラクション(HOI)検出は、シーン理解において重要なタスクである。その目的は、シーン内の三つ組み〈主体、述語、対象〉を推定することにある。本研究では、人体のポーズそのもの、および人体ポーズと対象物体との相対的な空間的位置関係が、HOI検出に有益な手がかりを提供することに着目した。そこで、絶対的ポーズ特徴と相対的空間的ポーズ特徴の両方を活用するポーズベースのモジュール型ネットワーク(Pose-based Modular Network, PMN)を提案する。本モデルは既存のネットワークと完全に互換性があり、HOI検出の性能向上を実現する。PMNは、まず各関節の相対的空間的ポーズ特徴を独立して処理するブランチと、全結合グラフ構造を用いて絶対的ポーズ特徴を更新する別のブランチから構成される。処理されたポーズ特徴は、その後アクション分類器へ入力される。提案手法の有効性を検証するため、最先端モデルであるVS-GATsと本モジュールを組み合わせ、公開ベンチマークV-COCOおよびHICO-DETの両方で顕著な性能向上を達成した。これにより、本手法の有効性と柔軟性が示された。コードは以下のURLから公開されている:\url{https://github.com/birlrobotics/PMN}


AIでAIを構築

アイデアからローンチまで — 無料のAIコーディング支援、すぐに使える環境、最高のGPU価格でAI開発を加速。

AI コーディング補助
すぐに使える GPU
最適な料金体系

HyperAI Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています