HandOccNet: 은폐에 강한 3D 손 메시 추정 네트워크

손은 종종 물체에 의해 심각하게 가려지기 때문에 3D 손 메시 추정이 어려워집니다. 이전 연구들은 대부분 가려진 영역의 정보를 무시하였습니다. 그러나 우리는 가려진 영역이 손과 강한 상관관계를 가지고 있어 완전한 3D 손 메시 추정에 매우 유용한 정보를 제공할 수 있다고 주장합니다. 따라서 본 연구에서는 가려진 영역의 정보를 보조적인 방법으로 활용하여 이미지 특성을 향상시키고 이를 더욱 풍부하게 만드는 새로운 3D 손 메시 추정 네트워크인 HandOccNet을 제안합니다. 이를 위해 우리는 두 개의 연속적인 Transformer 기반 모듈, 즉 특성 주입 트랜스포머 (Feature Injecting Transformer, FIT)와 자기 향상 트랜스포머 (Self-Enhancing Transformer, SET)를 설계하였습니다. FIT은 가려진 영역과의 상관관계를 고려하여 손 정보를 가려진 영역에 주입합니다. SET은 자기 주의 메커니즘을 사용하여 FIT의 출력을 정교화합니다. 가려진 영역에 손 정보를 주입함으로써, 우리의 HandOccNet은 도전적인 손-물체 가림 현상을 포함하는 3D 손 메시 벤치마크에서 최신 성능을 달성하였습니다. 코드는 다음 링크에서 확인할 수 있습니다: https://github.com/namepllet/HandOccNet.