2달 전

ReCo: Zero-shot 전송을 위한 검색 및 공분할

Gyungin Shin; Weidi Xie; Samuel Albanie
ReCo: Zero-shot 전송을 위한 검색 및 공분할
초록

세마틱 세그멘테이션은 다양한 응용 분야를 가지고 있지만, 실제 세계에서의 영향력은 배포를 가능하게 하는 데 필요한 금지적인 주석 비용으로 인해 크게 제한되어 왔습니다. 감독을 생략하는 세그멘테이션 방법들은 이러한 비용을 회피할 수 있지만, 예측에 개념 이름을 할당하기 위해 대상 분포에서 라벨된 예제들을 제공해야 하는 불편함이 있습니다. 최근 언어-이미지 사전 학습 분야의 다른 연구 경로는 대규모 개념 어휘집에 걸쳐 이름을 할당하고 분류를 위한 제로샷 전송(zero-shot transfer)을 가능하게 하는 모델 생산의 잠재력을 보여주었지만, 동등한 세그멘테이션 능력을 보여주지는 않았습니다. 본 연구에서는 이러한 두 접근 방식의 장점을 결합하여 통합을 이루고자 합니다. 우리는 언어-이미지 사전 학습 모델인 CLIP의 검색 능력을 활용하여 임의의 개념 이름 집합에 대해 라벨되지 않은 이미지에서 훈련 세트를 동적으로 큐레이팅(curating)하고, 현대 이미지 표현이 제공하는 견고한 대응 관계를 활용하여 결과 집합 내의 엔티티들을 공동 세그멘테이션(co-segmentation)합니다. 합성된 세그먼트 집합은 CLIP의 확장 가능한 사전 학습 과정으로부터 상속받은 개념 지식을 가진 세그멘테이션 모델(픽셀 라벨 없이)을 구축하는 데 사용됩니다. 우리는 우리의 접근 방식인 검색 및 공동 세그멘테이션(Retrieve and Co-segment, ReCo)가 무감독 세그멘테이션 접근 방식보다 우수한 성능을 보이며, 이름 지정 예측과 제로샷 전송의 편리성을 상속한다는 것을 입증하였습니다. 또한 ReCo가 극히 드문 객체들에 대한 전문적 세그멘터(specialist segmenter) 생성 능력을 갖추고 있음을 보여주었습니다.

ReCo: Zero-shot 전송을 위한 검색 및 공분할 | 최신 연구 논문 | HyperAI초신경