Lite-HRNet: 가벼운 고해상도 네트워크

인간 자세 추정을 위한 효율적인 고해상도 네트워크인 Lite-HRNet을 제안한다. 우리는 먼저 ShuffleNet에 사용되는 효율적인 셔플 블록을 HRNet(High-Resolution Network)에 단순히 적용함으로써, MobileNet, ShuffleNet, Small HRNet과 같은 대표적인 경량 네트워크보다 향상된 성능을 달성한다. 우리는 셔플 블록에서 널리 사용되는 포인트와이즈(1x1) 컨볼루션들이 계산 복잡도의 주요 병목 현상이 됨을 발견하였다. 이를 해결하기 위해, 비용이 큰 포인트와이즈(1x1) 컨볼루션을 대체할 수 있는 경량 단위인 조건부 채널 가중치(conditional channel weighting)를 제안한다. 채널 가중치의 계산 복잡도는 채널 수에 대해 선형이며, 포인트와이즈 컨볼루션의 이차 시간 복잡도보다 낮다. 본 솔루션은 HRNet의 병렬 브랜치에서 자연스럽게 제공되는 다양한 해상도의 특징 맵을 활용하여 모든 채널과 다중 해상도에서 가중치를 학습한다. 이 가중치는 채널 간 및 해상도 간 정보를 교환하는 다리 역할을 하며, 기존 포인트와이즈(1x1) 컨볼루션의 기능을 보완한다. Lite-HRNet은 대표적인 경량 네트워크 대비 인간 자세 추정에서 뛰어난 성능을 보여주며, 동일한 경량화 방식으로 세그멘테이션 작업에도 쉽게 적용 가능하다. 코드와 모델은 공개되어 있으며, https://github.com/HRNet/Lite-HRNet 에서 확인할 수 있다.