HAKE: Human Activity Knowledge Engine HAKE: 인간 활동 지식 엔진

인간 활동 이해는 자동 지능 시스템을 구축하는 데 있어 매우 중요합니다. 딥러닝의 도움으로 최근 활동 이해 분야에서 큰 진전이 이루어졌습니다. 그러나 데이터 분포의 불균형, 행동의 모호성, 복잡한 시각적 패턴과 같은 몇 가지 과제가 여전히 남아 있습니다. 이러한 문제를 해결하고 활동 이해를 촉진하기 위해, 우리는 인간 신체 부위 상태에 기반한 대규모 인간 활동 지식 엔진(HAKE)을 구축했습니다. 기존의 활동 데이터셋을 활용하여 모든 이미지에서 모든 활동적인 사람들의 신체 부위 상태를 주석화함으로써 인스턴스 활동과 신체 부위 상태 간의 관계를 설정하였습니다. 또한, HAKE 기반 신체 부위 상태 인식 모델을 제안하며, 이 모델은 Activity2Vec이라는 지식 추출기와 해당 신체 부위 상태 기반 추론 네트워크로 구성됩니다. HAKE를 통해 우리의 방법은 긴 꼬리 데이터 분포로 인한 학습 난이도를 완화하고 해석 가능성을 제공할 수 있습니다. 현재 HAKE는 700만 개 이상의 신체 부위 상태 주석을 포함하고 있으며, 아직 건설 중입니다. 본 초보 논문에서는 HAKE의 일부에 대해 접근 방식을 검증하였으며, 인간-물체 상호작용 인식에서 7.2 mAP 성능 향상과 원샷 서브셋에서 12.38 mAP 향상을 보였습니다.