초록
우리는 인코더가 디코더의 매개변수(가중치)를 인코딩하고 생성하는 새로운 실시간 의미 분할 네트워크를 제시합니다. 또한 최대한의 적응성을 허용하기 위해, 각 디코더 블록의 가중치는 공간적으로 변동합니다. 이를 위해 우리는 중첩된 U-Net으로 고차원 문맥 특징을 추출하고, 디코더의 각 블록에서 가중치를 소비되기 직전에 생성하여 메모리 사용 효율성을 높이는 다중 헤드 가중치 생성 모듈, 그리고 새로운 동적 패치별 합성곱으로 구성된 주 네트워크로 이루어진 새로운 하이퍼네트워크를 설계하였습니다. 비표준적인 블록을 사용함에도 불구하고, 우리의 아키텍처는 실시간 성능을 달성하였습니다. 실행 시간과 정확도 간의 균형 측면에서, 우리는 PASCAL VOC 2012 (검증 세트)와 Cityscapes, CamVid에서 실시간 의미 분할 벤치마크에서 최신 연구(SotA) 결과를 초월하였습니다. 코드는 다음과 같이 제공됩니다: https://nirkin.com/hyperseg.