구조 집단에 대한 자기 제약 추론 최적화를 이용한 인간 자세 추정

우리는 인간 자세가 생물학적 제약 조건에 의해 다른 신체 부위 간에 강한 그룹별 구조적 상관 관계와 키포인트 간의 공간 결합을 나타낸다는 것을 관찰하였습니다. 이러한 그룹별 구조적 상관 관계는 인간 자세 추정의 정확성과 견고성을 개선하는 데 활용될 수 있습니다. 본 연구에서는 훈련 과정에서 키포인트 간의 구조적 상관 관계를 특성화하고 학습하기 위해 자기 제약 예측-검증 네트워크(self-constrained prediction-verification network)를 개발하였습니다. 추론 단계에서는 검증 네트워크로부터 피드백 정보를 얻어 자세 예측을 추가로 최적화할 수 있으며, 이는 인간 자세 추정의 성능을 크게 향상시킵니다.특히, 우리는 인간 신체의 생물학적 구조에 따라 키포인트를 그룹으로 나누었습니다. 각 그룹 내에서 키포인트는 고신뢰도 기준 키포인트(high-confidence base keypoints)와 저신뢰도 종단 키포인트(low-confidence terminal keypoints)로 두 하위 집합으로 더 세분화되었습니다. 우리는 이러한 키포인트 하위 집합 간의 순방향 및 역방향 예측을 수행하기 위한 자기 제약 예측-검증 네트워크를 개발하였습니다.자세 추정뿐만 아니라 일반적인 예측 작업에서도 근본적인 도전 과제 중 하나는 획득된 자세 추정 또는 예측 결과가 정확한지 여부를 확인할 수 있는 메커니즘이 없다는 것입니다. 이는 실제 값(ground truth)이 제공되지 않기 때문입니다. 성공적으로 학습되면 검증 네트워크는 순방향 자세 예측의 정확성을 검증하는 모듈로 작동합니다. 추론 단계에서는 고신뢰도 키포인트에 대한 자기 제약 손실(self-constrained loss)을 목적 함수로 사용하여 저신뢰도 키포인트의 자세 추정 결과를 로컬 최적화하는 데 사용될 수 있습니다.우리가 벤치마크 MS COCO 및 CrowdPose 데이터셋에서 수행한 광범위한 실험 결과는 제안된 방법이 자세 추정 결과를 크게 개선할 수 있음을 입증하였습니다.