17일 전
구형 이미지 및 표면을 위한 보간 선택 컨브 (Interpolated SelectionConv)
David Hart, Michael Whitney, Bryan Morse

초록
우리는 구면(또는 옴니디렉셔널) 이미지에 대한 합성곱 신경망(CNN) 연산을 위한 새로운 일반적인 프레임워크를 제안한다. 본 연구에서 제안하는 방법은 특정 샘플링 전략에 의존하지 않고, 점들로 연결된 그래프 구조로 표면을 표현한다. 또한 SelectionConv의 보간 버전을 활용함으로써, 기존의 2D CNN과 그 가중치를 그대로 사용하면서도 구면 위에서 연산을 수행할 수 있다. 본 방법은 기존의 그래프 구현을 활용하기 때문에 빠르며, 효율적으로 미세조정(fine-tuning)이 가능하다. 본 방법은 단순한 위상 구조를 가진 표면뿐만 아니라, 위상적으로 복잡한 형태의 표면에도 일반적으로 적용 가능하다. 구면에 대한 스타일 전이(style transfer) 및 세그멘테이션, 그리고 3D 메시에 대한 스타일화 작업을 통해 본 기법의 효과성을 입증하였다. 또한 다양한 구면 샘플링 전략의 성능에 대한 철저한 아블레이션 연구(ablation study)를 제공한다.