RGB-D 활동 인식을 위한 이질적 특징의 공동 학습

본 논문에서는 RGB-D 활동 인식을 위한 이질적 특징 학습에 초점을 맞춘다. 우리는 다양한 채널(RGB, 깊이)에서 추출한 특징들이 일부 유사한 은닉 구조를 공유할 수 있음을 발견하였으며, 이를 바탕으로 공유된 특징과 특징별 고유 특징을 동시에 탐색할 수 있는 공동 학습 모델을 제안한다. 이는 이질적 다중 작업 학습의 한 예시로, 통합된 프레임워크 내에서 다음과 같은 능력을 갖춘다: 1) 서로 다른 특징 채널 간에 잠재된 공유 특징을 탐색하기 위해 차원 수가 동일한 다수의 하위공간을 공동으로 탐사하는 것, 2) 하위공간 내에서 공유 특징과 특징별 고유 특징을 정량화하는 것, 3) 데이터셋 간 이질적 특징의 융합 학습을 위해 특징별 중간 변환(i-transforms)을 전이하는 것. 공동 모델의 효율적인 학습을 위해 세 단계 반복 최적화 알고리즘이 제안되며, 이후 간단한 추론 모델이 따라온다. 네 개의 활동 데이터셋을 대상으로 수행한 광범위한 실험 결과는 제안된 방법의 효과성을 입증한다. 더불어, 인간-객체 상호작용에 초점을 맞춘 새로운 RGB-D 활동 데이터셋을 제안하며, 이는 RGB-D 활동 인식 기준 평가에 더 큰 도전 과제를 제시한다.