세그멘테이션 사전을 통한 영역 적응형 변환 기반 이미지 압축

최근 몇 년간 학습 기반 이미지 압축(Learned Image Compression, LIC)은 놀라운 발전을 보여왔다. 기존 연구들은 주로 CNN 기반 또는 자기 주의(self-attention) 기반 모듈을 압축을 위한 변환 방법으로 활용해왔다. 그러나 특정 영역에 초점을 맞춘 신경 변환(neural transform)에 관한 이전 연구는 존재하지 않는다. 이를 해결하기 위해, 우리는 분류 무관 세그멘테이션 마스크(class-agnostic segmentation masks, 즉 카테고리 레이블이 없는 의미론적 마스크)를 도입하여 영역 적응형 맥락 정보를 추출한다. 제안하는 모듈인 영역 적응형 변환(Region-Adaptive Transform)은 이러한 마스크를 기반으로 각 영역에 맞게 적응형 합성곱을 적용한다. 또한, 다양한 영역에서 � бог rich한 맥락 정보를 통합하기 위해 플러그 앤 플레이(Plug-and-Play) 방식의 스케일 어파인 레이어(Scale Affine Layer)를 도입하였다. 기존 이미지 압축 연구 중 일부는 세그멘테이션 마스크를 추가적인 중간 입력으로 활용한 사례가 있었지만, 본 연구는 그들과 크게 차별화된다. 본 연구의 주요 장점은, 추가적인 비트레이트 부담을 피하기 위해 이러한 마스크를 학습 단계에서만 접근 가능한 특권 정보(privilege information)로 간주한다는 점이다. 추론 단계에서는 이 마스크가 필요하지 않다. 본 연구를 통해, 분류 무관 마스크를 특권 정보로 활용한 것은 최초의 시도이며, 피크 신호 대 잡음비(PSNR)와 같은 픽셀 정밀도 지표에서 우수한 성능을 달성하였다. 실험 결과에 따르면, 기존에 뛰어난 성능을 보였던 방법들과 비교하여 본 방법이 압도적인 성능 향상을 보였으며, VTM-17.0 대비 약 8.2%의 비트레이트 절감 효과를 입증하였다. 소스 코드는 다음 링크에서 확인할 수 있다: https://github.com/GityuxiLiu/SegPIC-for-Image-Compression.