초록
최근 들어 시간적 행동 분할(Temporal action segmentation) 기법들은 매우 성공적인 결과를 보여주고 있다. 그러나 이러한 모델을 훈련시키기 위해 프레임 단위 레이블을 사용해 영상을 레이블링하는 것은 매우 비용이 많이 들고 시간이 오래 걸리는 작업이다. 약한 감독(weakly supervised) 방법은 순서가 지정된 행동 목록만을 사용해 훈련하므로 레이블링 노력이 적지만, 여전히 완전 감독(fully supervised) 접근법에 비해 성능이 떨어진다. 본 논문에서는 시간적 행동 분할 작업에 타임스탬프(timestamp) 감독을 사용할 것을 제안한다. 타임스탬프는 약한 감독 방법과 비슷한 레이블링 노력이 필요하지만, 더 풍부한 감독 신호를 제공한다. 타임스탬프 감독의 효과를 입증하기 위해, 오직 타임스탬프 레이블만을 사용해 분할 모델을 훈련하는 방법을 제안한다. 제안하는 방법은 모델의 출력과 주어진 타임스탬프를 이용해 행동 변화를 탐지함으로써 프레임 단위 레이블을 생성한다. 또한, 타임스탬프로부터 거리가 멀어질수록 예측 확률이 단조 감소하도록 강제하는 신뢰도 손실(confidence loss)을 도입한다. 이는 행동의 가장 두드러진 프레임뿐만 아니라, 모든 프레임이 훈련 과정에서 학습되도록 보장한다. 네 가지 데이터셋에 대한 평가 결과, 타임스탬프 레이블을 사용해 훈련된 모델이 완전 감독 방법과 유사한 성능을 달성함을 확인하였다.