DiffusionInst: 인스턴스 세그멘테이션을 위한 확산 모델

확산 프레임워크는 이전의 최첨단 이미지 생성 모델과 비교하여 유사한 성능을 달성하였다. 특히 확산 모델이 강력한 노이즈에서 이미지로의 정제(노이즈 제거) 파이프라인을 보유하고 있다는 점에서, 연구자들은 이 기법의 다양한 변형이 분류적 임무에 어떻게 활용될 수 있을지에 대해 큰 관심을 가지고 있다. 본 논문에서는 인스턴스를 인스턴스 인지 필터(instance-aware filters)로 표현하고, 인스턴스 세그멘테이션 문제를 노이즈에서 필터로의 정제 과정으로 재정의하는 새로운 프레임워크인 DiffusionInst를 제안한다. 이 모델은 RPN(RoI Proposal Network)에서 유도되는 사전 편향 없이 노이즈가 섞인 정답 데이터를 역으로 복원하도록 훈련된다. 추론 과정에서는 무작위로 생성된 필터를 입력으로 받아, 단일 스텝 또는 다중 스텝의 노이즈 제거를 통해 마스크를 출력한다. COCO 및 LVIS 데이터셋에서 실시한 광범위한 실험 결과를 통해, ResNet과 Swin Transformer와 같은 다양한 백본을 사용하는 기존 인스턴스 세그멘테이션 모델들과 비교하여 DiffusionInst가 경쟁력 있는 성능을 보임을 확인하였다. 본 연구가 다양한 분류적 임무에 도전하는 더 효율적인 확산 프레임워크 설계를 촉진할 수 있는 강력한 기준(baseline)이 되길 기대한다. 코드는 https://github.com/chenhaoxing/DiffusionInst 에서 공개되어 있다.