인체-물체 상호작용 감지 위한 아포던스 전이 학습

사람과 물체 간의 상호작용(Human-Object Interaction, HOI)을 이해하는 것은 더 깊은 장면 이해에 필수적이며, 물체의 기능성(Object Affordances)은 사람이 새로운 물체와의 미처 보지 못한 HOI를 발견하는 데 매우 중요합니다. 이에 영감을 받아, 우리는 새로운 물체와의 HOI를 동시에 감지하고 기능성을 인식하기 위한 기능성 전이 학습(Affordance Transfer Learning) 접근법을 제안합니다. 구체적으로, HOI 표현은 기능성 표현과 물체 표현의 조합으로 분리될 수 있으며, 이를 통해 추가 이미지에서 얻은 기능성 표현과 새로운 물체 표현을 결합하여 새로운 상호작용을 구성할 수 있습니다. 즉, 기능성을 새로운 물체로 전이시키는 것이 가능해집니다. 제안된 기능성 전이 학습 방법을 사용하면 모델은 알려진 기능성 표현에서 새로운 물체의 기능성을 추론할 수도 있습니다. 따라서 제안된 방법은 1) 특히 미처 보지 못한 물체와 관련된 HOI 감지를 포함하여 HOI 감지 성능을 향상시키고, 2) 새로운 물체의 기능성을 추론하는 데 활용될 수 있습니다. HICO-DET 및 HOI-COCO(V-COCO에서 유래) 두 데이터셋에서 수행한 실험 결과는 최근 최신 방법들과 비교하여 HOI 감지 및 물체 기능성 감지에서显著的な 개선을 보였습니다. 코드는 https://github.com/zhihou7/HOI-CL에서 제공됩니다.注：最后一句中的“显著的な”是日语词汇，正确的韩语翻译应该是“유의미한”。修正后的翻译如下：HICO-DET 및 HOI-COCO(V-COCO에서 유래) 두 데이터셋에서 수행한 실험 결과는 최근 최신 방법들과 비교하여 HOI 감지 및 물체 기능성 감지에서 유의미한 개선을 보였습니다. 코드는 https://github.com/zhihou7/HOI-CL에서 제공됩니다.