2달 전

적응형 결합 프로토타입을 일반화된 지시 표현 분할에 적용하기

Li, Weize ; Zhao, Zhicheng ; Bai, Haochen ; Su, Fei
적응형 결합 프로토타입을 일반화된 지시 표현 분할에 적용하기
초록

참조 표현 분할(Referring Expression Segmentation, RES)은 자연어 표현을 기반으로 객체를 식별하고 분할하는 데 주목력을 받고 있습니다. RES에서 상당한 진전이 이루어졌음에도 불구하고, 일반화된 참조 표현 분할(Generalized Referring Expression Segmentation, GRES)의 등장은 여러 객체를 설명하거나 특정 객체 참조가 부족한 표현을 허용함으로써 새로운 도전 과제를 제기하고 있습니다. 기존의 RES 방법들은 복잡한 인코더-디코더 및 특성 융합 모듈에 의존하곤 하지만, GRES의 복잡한 참조 대상과 이진 라벨을 처리할 때 각 인스턴스에 개별적으로 일치하는 클래스 프로토타입을 생성하기 어려웠습니다.본 논문에서는 RES와 GRES 간의 차이점을 재평가하고, 해당 영역의 객체 특성에 적응적으로 결합되는 쿼리를 통해 새로운 모델인 적응적 결합 프로토타입 모델(Model with Adaptive Binding Prototypes, MABP)을 제안합니다. 이 모델은 다른 쿼리 벡터가 서로 다른 카테고리의 인스턴스나 동일한 인스턴스의 서로 다른 부분에 일치하도록 하여 디코더의 유연성을 크게 확장하며, 전역적인 부담을 모든 쿼리에 분산시키고 인코더에 대한 요구 사항을 완화시킵니다. 실험 결과는 gRefCOCO 데이터셋의 세 가지 분할 모두에서 MABP가 최신 방법론들을 크게 능가함을 보여주며, RefCOCO+와 G-Ref 데이터셋에서도 최신 방법론들을 초월하고 RefCOCO에서 매우 경쟁력 있는 결과를 달성하였습니다.코드는 https://github.com/buptLwz/MABP에서 확인 가능합니다.

적응형 결합 프로토타입을 일반화된 지시 표현 분할에 적용하기 | 최신 연구 논문 | HyperAI초신경