SpatialFlow: 패ノ픽 세그멘테이션을 위한 모든 작업 연결하기

객체 위치는 이미지 장면 내 모든 '사물(Thing)'과 '물체(Stuff)'와 관련되므로, 팔라믹스 세그멘테이션에서 핵심적인 요소이다. 이미지 내 객체의 위치를 파악하는 것은 세그멘테이션을 위한 중요한 단서를 제공하며, 네트워크가 장면을 더 잘 이해하는 데 기여한다. 사물과 물체 세그멘테이션 모두에 객체 위치 정보를 효과적으로 통합하는 방법은 중요한 과제이다. 본 논문에서는 이러한 목표를 달성하기 위해 공간 정보 흐름(Spatial Information Flows)을 제안한다. 이 흐름은 박스 회귀 작업에서 얻은 객체의 공간적 맥락을 다른 모든 하위 작업으로 전달함으로써 팔라믹스 세그멘테이션의 모든 하위 과제를 연결하는 역할을 한다. 특히, 하위 과제들에서 객체 공간 정보를 보다 적절히 적응시키기 위해 네 개의 병렬 하위 네트워크를 설계하였다. 이러한 하위 네트워크와 공간 정보 흐름을 기반으로, 위치 인식이 가능한 통합적 프레임워크인 SpatialFlow를 제안한다. 각 구성 요소에 대해 철저한 아블레이션 연구를 수행하고, 광범위한 실험을 통해 SpatialFlow의 효과성을 입증하였다. 또한, MS-COCO 및 Cityscapes 팔라믹스 벤치마크에서 각각 47.9 PQ 및 62.5 PQ의 최신 기준(SOTA) 성능을 달성하였다. 코드는 https://github.com/chensnathan/SpatialFlow 에 공개될 예정이다.