약한 감독 하의 동작 세그멘테이션은 인간-로봇 상호작용에 준비되었는가? 아니요, 동작 유니온 학습으로 이를 개선하자

행동 분할은 로봇이 인간의 활동을 자동으로 이해할 수 있도록 하는 데 핵심적인 역할을 한다. 행동 인식 모델을 훈련하기 위해 모든 프레임에 대해 행동 레이블을 확보하는 것은 비용이 매우 크지만, 타임스탬프 레이블을 활용한 약한 감독 방식은 비용 효율적이다. 그러나 기존의 방법들은 타임스탬프 레이블을 충분히 활용하지 못해 성능이 제한적인 경우가 있다. 이러한 문제를 완화하기 위해, 본 연구에서는 훈련 단계에서 새로운 학습 패턴을 제안하며, 레이블이 없는 프레임에 대해 주변 타임스탬프들의 행동 합집합의 확률을 최대화하는 방식을 적용한다. 추론 단계에서는 소프트 할당된 예측값에서 더 나은 하드 할당 행동 클래스를 생성하기 위한 새로운 정제 기법을 제안한다. 특히, 제안한 방법은 모델 독립적(모델 무관)이며 기존의 다양한 프레임워크에 쉽게 적용 가능하다. 세 가지 일반적으로 사용되는 행동 분할 데이터셋에서 실험한 결과, 기존의 타임스탬프 감독 기반 방법들을 모두 초월하며, 새로운 최고 성능(SOTA)을 달성하였다. 또한, 전적으로 감독된 레이블의 1% 미만을 사용함으로써 기존의 완전 감독 방법과 비교해도 유사하거나 더 우수한 성능을 얻을 수 있다.