Shuffle and Learn: 시계열 순서 검증을 이용한 비지도 학습

본 논문에서는 비디오의 원시 시공간 신호에서 시각적 표현을 학습하는 방법을 제시합니다. 우리의 표현은 의미 라벨 없이 감독 없이 학습됩니다. 본 방법을 감독되지 않은 순차 검증 작업으로 정식화하였습니다. 즉, 비디오의 프레임 시퀀스가 올바른 시간 순서인지 여부를 결정합니다. 이 간단한 작업과 의미 라벨 없이, 우리는 컨볼루션 신경망(CNN)을 사용하여 강력한 시각적 표현을 학습하였습니다. 이 표현은 ImageNet과 같은 감독된 이미지 데이터셋에서 학습된 정보와 보완적인 정보를 포함합니다. 질적 결과는 우리의 방법이 시간적으로 변화하는 정보, 예를 들어 인간 자세를 포착함을 보여줍니다. 행동 인식을 위한 사전 학습으로 사용할 때, 우리의 방법은 UCF101 및 HMDB51과 같은 벤치마크 데이터셋에서 외부 데이터 없이 학습한 것보다 상당히 큰 성능 향상을 가져옵니다. 인간 자세에 대한 민감성을 입증하기 위해, FLIC 및 MPII 데이터셋에서의 자세 추정 결과를 보여드리며, 이는 많은 감독을 사용하는 접근법보다 경쟁력이 있거나 더 우수합니다. 우리의 방법은 감독된 표현과 결합하여 정확도를 추가로 향상시킬 수 있습니다.