CHASE: 골격 기반 다중 개체 행동 인식을 위한 볼록 껍질 적응 이동 학습

스켈레톤 기반 다중 개체 행동 인식은 여러 다양한 개체가 참여하는 상호작용 행동이나 그룹 활동을 식별하는 어려운 과제입니다. 기존의 개인 모델들은 개체 스켈레톤 간의 본질적인 분포 차이로 인해 이 과제에서 부족한 성능을 보이는 경우가 많습니다. 이를 해결하기 위해, 우리는 개체 간 분포 차이를 완화하고 후속 백본을 편향되지 않게 만드는 볼록 껍질 적응 이동 기반 다중 개체 행동 인식 방법(CHASE)을 제안합니다.CHASE는 학습 가능한 매개변수화 네트워크와 보조 목적함수로 구성됩니다. 매개변수화 네트워크는 두 가지 주요 구성 요소를 통해 스켈레톤 시퀀스의 타당하고 샘플에 적응된 재위치 설정을 달성합니다. 첫째, 암시적 볼록 껍질 제약 조건 하의 적응 이동(Implicit Convex Hull Constrained Adaptive Shift)은 새로운 좌표계 원점이 스켈레톤 볼록 껍질 내에 있도록 합니다. 둘째, 계수 학습 블록(Coefficient Learning Block)은 스켈레톤 시퀀스에서 볼록 조합의 특정 계수로의 경량 매개변수화를 제공합니다.또한, 이 네트워크의 최적화를 분산 최소화를 위해 안내하기 위해 미니 배치 쌍별 최대 평균 분산(Mini-batch Pair-wise Maximum Mean Discrepancy)을 추가 목적함수로 제안합니다. CHASE는 샘플에 적응된 정규화 방법으로 작동하여 개체 간 분포 차이를 완화하고 데이터 편향을 줄이며 후속 분류기의 다중 개체 행동 인식 성능을 향상시킵니다.NTU Mutual 11/26, H2O, Assembly101, Collective Activity 및 Volleyball 등 6개 데이터셋에서 수행된 광범위한 실험들은 우리의 접근 방식이 단일 개체 백본에 원활하게 적응하여 다중 개체 시나리오에서 성능을 향상시키는 것을 일관되게 검증하였습니다. 우리의 코드는 https://github.com/Necolizer/CHASE 에 공개되어 있습니다.