2달 전

다중 시점 3D 재구성 위한 강건한 주의 집중 깊은 특징 집합의 통합

Bo Yang; Sen Wang; Andrew Markham; Niki Trigoni
다중 시점 3D 재구성 위한 강건한 주의 집중 깊은 특징 집합의 통합
초록

우리는 이미지 집합에서 기본 3D 형태를 복원하는 문제를 연구합니다. 기존의 학습 기반 접근 방식은 일반적으로 순환 신경망(예: GRU) 또는 직관적인 풀링 연산(예: 최대/평균 풀링)을 사용하여 입력 이미지에서 인코딩된 여러 깊은 특징을 융합합니다. 그러나 GRU 기반 접근 방식은 순환 유닛이 순열 변동성을 가지기 때문에 동일한 입력 이미지 집합의 다른 순열에 대해 일관된 3D 형태 추정을 할 수 없습니다. 또한 GRU의 장기 기억 손실로 인해 더 많은 이미지를 주어졌을 때 3D 형태를 개선하기도 어렵습니다. 일반적으로 사용되는 풀링 방법은 부분 정보(예: 최대/평균 값)만 포착할 수 있어 다른 중요한 특징들을 무시하게 됩니다. 본 논문에서는 다중 뷰 3D 재구성에 대해 임의 크기의 깊은 특징 집합을 주의 깊게 집계하기 위한 새로운 피드포워드 신경 모듈인 AttSets와 전용 학습 알고리즘인 FASet를 제안합니다. AttSets 모듈은 순열 불변성, 계산 효율성, 구현 유연성을 갖추고 있으며, FASet 알고리즘은 AttSets 기반 네트워크가 매우 강건하고 임의 개수의 입력 이미지에 일반화될 수 있도록 합니다. 우리는 여러 대규모 공개 데이터셋에서 FASet와 AttSets의 성질을 철저히 평가했습니다. 광범위한 실험 결과는 AttSets와 FASet 알고리즘이 기존의 집계 방법보다 현저히 우수함을 보여줍니다.