패치-깊이 융합: 세밀한 패치 전략과 깊이 무결성 사전을 통한 이분법적 이미지 세그멘테이션

이분법적 이미지 분할(Dichotomous Image Segmentation, DIS)은 고해상도 자연 이미지에 대해 고정밀도 객체 분할을 수행하는 과제이다. 현재 주류의 방법들은 국소적인 세부 사항 최적화에 집중하지만, 객체의 완전성(일관성)을 모델링하는 근본적인 과제를 간과하고 있다. 우리는 Depth Anything Model v2가 생성하는 가상 깊이 맵(pseudo-depth maps)에 내재된 깊이 완전성 사전지식(depth integrity-prior)과 이미지 패치의 국소적 세부 특징이 결합될 경우, 위와 같은 딜레마를 효과적으로 해결할 수 있음을 발견하였다. 이러한 발견을 바탕으로, 고정밀 이분법적 이미지 분할을 위한 새로운 패치-깊이 융합 네트워크(Patch-Depth Fusion Network, PDFNet)를 설계하였다. PDFNet의 핵심은 세 가지 측면으로 구성된다. 첫째, 다중 모달 입력 융합을 통해 객체 인지 능력을 강화한다. 패치의 미세한 전략을 활용하고, 패치 선택 및 강화 기법을 병행함으로써 세부 사항에 대한 민감도를 향상시킨다. 둘째, 깊이 맵에 분포된 깊이 완전성 사전지식을 활용하여, 깊이 맵 내에서 분할 결과의 균일성을 강화하는 완전성 사전 손실(integrity-prior loss)을 제안한다. 셋째, 공유 인코더(shared encoder)의 특징을 활용하고, 간단한 깊이 보정 디코더(deep refinement decoder)를 통해 공유 인코더가 이미지 내 미세한 깊이 관련 정보를 보다 효과적으로 포착할 수 있는 능력을 향상시킨다. DIS-5K 데이터셋에서의 실험 결과, PDFNet은 최신 비확산 기반 방법들보다 뛰어난 성능을 보였다. 특히 깊이 완전성 사전지식을 도입함으로써, 확산 기반 방법보다 적은 11% 미만의 파라미터 수를 사용하면서도 그 성능을 달성하거나 초과하는 결과를 얻었다. 소스 코드는 https://github.com/Tennine2077/PDFNet 에서 확인할 수 있다.