동사-부사 텍스트 관계 측정을 통한 행동 변화 학습

이 연구의 목표는 동영상에서 행동이 어떻게 수행되는지를 이해하는 것입니다. 즉, 주어진 동영상을 통해 행동에 적용된 부사를 예측하려는 것입니다(예: '세밀하게' 자르기). 우리는 이 문제를 회귀 작업으로 설정하였습니다. 동사와 부사 간의 텍스트적 관계를 측정하여 우리가 학습하고자 하는 행동 변화를 나타내는 회귀 대상을 생성합니다. 우리는 다양한 데이터셋에서 접근법을 시험하였으며, 부사 예측과 반의어 분류 모두에서 최신 기술(SOTA) 수준의 결과를 달성하였습니다. 또한, 두 가지 일반적으로 가정되는 조건을 제거할 때 이전 연구보다 우수한 성능을 보였습니다: 테스트 중 행동 라벨의 사용 가능성을 가정하지 않고, 부사를 반의어로 짝짓는 것을 가정하지 않았습니다. 기존의 부사 인식용 데이터셋은 학습을 어렵게 만드는 노이즈가 많거나, 부사에 의해 외관이 영향을 받지 않는 행동을 포함하여 평가의 신뢰성을 떨어뜨리는 경우가 많습니다. 이를 해결하기 위해, 우리는 새로운 고품질 데이터셋인 '레시피 속 부사(AIR)'를 수집하였습니다. AIR에서는 지시적인 레시피 동영상을 중심으로, 다르게 수행될 때 의미 있는 시각적 변화를 보이는 행동들의 집합을 큐레이션하였습니다. AIR의 동영상들은 더 깔끔하게 편집되었으며, 여러 주석자가 수동으로 검토하여 높은 라벨링 품질을 확보하였습니다. 결과는 AIR의 깨끗한 동영상 덕분에 모델들이 더 잘 학습한다는 것을 보여주었습니다. 동시에, AIR에서의 부사 예측은 도전적이며, 개선 여지가 상당히 크다는 것을 입증하였습니다.