세부 인식에서 부분 특징에 대한 페셔어 벡터 인코딩의 엔드 투 엔드 학습

세부적인 분류를 위한 부분 기반 접근법은 매우 유사한 클래스를 구분하는 데 중요한 소규모 세부 정보에 명시적으로 초점을 맞추고 있음에도 불구하고, 전역 방법 대비 기대되는 성능 향상이 나타나지 않는다. 우리는 이러한 부분 기반 방법이 부분의 순서에 무관하고 가변적인 수의 노출된 부분을 적절히 처리할 수 있는 국소적 특징의 표현이 부족하기 때문이라고 가정한다. 부분의 순서는 인위적인 것이며, 일반적으로 지상 진실(ground-truth) 레이블에 의해만 제공되며, 시점 변화와 가림 현상으로 인해 일부 부분이 관측되지 않을 수 있다. 따라서 우리는 부분 특징에 대해 페셔(Fisher) 벡터 인코딩을 컨볼루션 신경망에 통합하는 방법을 제안한다. 이 인코딩을 위한 파라미터는 신경망의 파라미터와 함께 온라인 EM 알고리즘을 통해 공동으로 추정되며, 이전 연구들의 추정보다 더 정확하다. 제안하는 방법은 세 종류의 새 종류 분류 데이터셋에서 기존 최고 성능을 개선한다.