GCNet: Non-local Networks Meet Squeeze-Excitation Networks and Beyond GCNet: 비국소 네트워크와 스케줄-엑시테이션 네트워크의 만남과 그 이후

비국소 네트워크(NLNet)는 장거리 의존성을 포착하기 위해 각 쿼리 위치에 쿼리 특화 전역 컨텍스트를 집계하는 혁신적인 접근 방식을 제시합니다. 그러나 철저한 경험적 분석을 통해 NLNet이 모델링한 전역 컨텍스트가 이미지 내의 다른 쿼리 위치에서 거의 동일하다는 것을 발견했습니다. 이 논문에서는 이러한 발견을 바탕으로 정확도는 유지하면서 계산량은 크게 줄인 쿼리 독립적 공식화를 기반으로 한 단순화된 네트워크를 설계하였습니다. 또한, 이 단순화된 설계가 스퀴즈-엑시테이션 네트워크(SENet)와 유사한 구조를 공유한다는 것을 관찰하였습니다. 따라서, 우리는 이를 전역 컨텍스트 모델링을 위한 세 단계 일반 프레임워크로 통합하였습니다. 일반 프레임워크 내에서, 우리는 경량화되고 전역 컨텍스트를 효과적으로 모델링할 수 있는 더 나은 구현체인 글로벌 컨텍스트(GC) 블록을 설계하였습니다. 경량화된 특성 덕분에 우리는 백본 네트워크의 여러 계층에 이를 적용하여 글로벌 컨텍스트 네트워크(GCNet)를 구성할 수 있었으며, 다양한 인식 작업의 주요 벤치마크에서 단순화된 NLNet과 SENet보다 우수한 성능을 보였습니다. 코드와 설정은 https://github.com/xvjiarui/GCNet 에서 제공됩니다.