일상적이지 않은 공통성: 상황 인식에서의 의미 희소성

의미 희소성은 구조화된 시각 분류 문제에서 자주 나타나는 도전 과제입니다. 출력 공간이 복잡할 때, 가능한 예측의 대부분은 훈련 세트에서 거의 또는 전혀 보이지 않습니다. 본 논문에서는 상황 인식 문제에서 의미 희소성을 연구합니다. 상황 인식은 이미지에서 발생하는 활동, 물체 및 활동 내에서 물체가 수행하는 역할을 구조화된 요약으로 생성하는 작업입니다. 이 문제에 대해 우리는 경험적으로 대부분의 물체-역할 조합이 드물다는 것을 발견하였으며, 현재 최신 모델들이 이러한 희소 데이터 환경에서 크게 부족한 성능을 보임을 확인하였습니다. 이러한 오류를 피하기 위해 (1) 역할-명사 조합 간에 예제를 공유하도록 학습하는 새로운 텐서 구성 함수를 제안하고 (2) 웹 데이터를 사용하여 드물게 관찰되는 출력의 예제를 자동으로 수집하여 훈련 데이터를 의미적으로 증강하였습니다. 완전한 CRF(Conditional Random Field)-기반 구조화 예측 모델에 통합될 때, 텐서 기반 접근법은 각각 상위 5개 동사와 명사-역할 정확도에서 기존 최신 기술보다 2.11%와 4.40% 개선되었습니다. 우리의 의미 증강 기술로 500만 장의 이미지를 추가하면, 상위 5개 동사와 명사-역할 정확도에서 추가로 각각 6.23%와 9.57% 개선되었습니다.