2달 전

자기 구성 학습을 통한 인간-물체 상호작용 개념의 발견

Hou, Zhi ; Yu, Baosheng ; Tao, Dacheng
자기 구성 학습을 통한 인간-물체 상호작용 개념의 발견
초록

인물-객체 상호작용(Human-Object Interaction, HOI)에 대한 포괄적인 이해는 사전 정의된 일부 HOI 개념(또는 범주)뿐만 아니라 다른 합리적인 HOI 개념들을 감지하는 것이 필요합니다. 그러나 현재의 접근 방식은 대부분 알려지지 않은 대규모 HOI 개념(즉, 알려지지 않았지만 합리적인 동사와 객체의 조합)을 탐색하지 못하고 있습니다. 본 논문에서는 1) 포괄적인 HOI 이해를 위한 새로운이고 도전적인 과제인 HOI 개념 발견(HOI Concept Discovery)을 소개하며, 2) HOI 개념 발견을 위한 자기 구성 학습 프레임워크(self-compositional learning framework, SCL)를 제안합니다. 구체적으로, 훈련 중에는 온라인으로 업데이트되는 개념 신뢰도 행렬을 유지합니다: 1) 모든 복합 HOI 인스턴스에 대해 개념 신뢰도 행렬에 따라 가짜 라벨(pseudo-labels)을 할당하여 자기 훈련(self-training)을 수행하며, 2) 모든 복합 HOI 인스턴스의 예측 결과를 사용하여 개념 신뢰도 행렬을 업데이트합니다. 따라서 제안된 방법은 알려진 HOI 개념뿐만 아니라 알려지지 않은 HOI 개념에 대한 학습도 가능하게 합니다. 우리는 여러 유명한 HOI 데이터셋에서 광범위한 실험을 수행하여 제안된 방법이 HOI 개념 발견, 객체 활용성 인식(object affordance recognition), 그리고 HOI 감지에서 효과적임을 입증하였습니다. 예를 들어, 제안된 자기 구성 학습 프레임워크는 1) HICO-DET에서 10% 이상, V-COCO에서 3% 이상 각각 개선되어 HOI 개념 발견 성능을 크게 향상시켰으며, 2) MS-COCO와 HICO-DET에서 객체 활용성 인식 성능을 9% 이상 mAP로 개선했습니다. 또한, 3) 드문(rare-first) 및 드문 것이 아닌(non-rare-first) 알려지지 않은 HOI 감지를 각각 약 30%와 20% 이상 개선했습니다. 코드는 https://github.com/zhihou7/HOI-CL에서 공개적으로 이용할 수 있습니다.

자기 구성 학습을 통한 인간-물체 상호작용 개념의 발견 | 최신 연구 논문 | HyperAI초신경