SeeDS: 제로샷 음식 검출을 위한 의미론적 분리 확산 합성기

음식 인식은 음식 컴퓨팅의 기본적인 작업으로, 음식 추천과 식이 모니터링을 포함한 다양한 멀티미디어 애플리케이션을 지원합니다. 실제 환경에서 음식 인식은 훈련 과정에서 보지 못한 새로운 음식 객체를 위치 파악하고 인식해야 하는 요구사항인 제로샷 검출(Zero-Shot Detection, ZSD)을 필요로 합니다. 그러나 의미 속성의 복잡성과 클래스 내 특징 다양성이 제로샷 검출 방법들이 세부적인 음식 클래스를 구분하는 데 어려움을 초래합니다. 이를 해결하기 위해, 우리는 제로샷 음식 검출(Zero-Shot Food Detection, ZSFD)을 위한 Semantic Separable Diffusion Synthesizer (SeeDS) 프레임워크를 제안합니다. SeeDS는 두 개의 모듈로 구성되며, 이는 Semantic Separable Synthesizing Module (S$^3$M)과 Region Feature Denoising Diffusion Model (RFDDM)입니다. S$^3$M은 재료와 요리 스타일로부터 복잡한 음식 속성의 분리된 의미 표현을 학습하고, 강화된 의미 정보를 통해 차별화된 음식 특징을 생성합니다. RFDDM은 새로운 확산 모델을 활용하여 다양화된 지역 특징을 생성하고, 세부적으로 합성된 특징을 통해 ZSFD를 향상시킵니다. 광범위한 실험 결과, 우리 제안 방법은 ZSFooD와 UECFOOD-256 두 개의 음식 데이터셋에서 최신 수준의 ZSFD 성능을 보였습니다. 또한, SeeDS는 일반적인 ZSD 데이터셋인 PASCAL VOC와 MS COCO에서도 효과성을 유지하였습니다. 코드와 데이터셋은 https://github.com/LanceZPF/SeeDS에서 확인할 수 있습니다.