임의의 세분화 수준에서 언어 지시를 통한 보편적 세분화

본 논문은 임의의 의미 수준에서의 보편적 세그멘테이션을 달성하는 것을 목표로 한다. 최근 몇 년 동안 상당한 진전이 이루어졌음에도 불구하고, 전문적인 세그멘테이션 접근 방식은 특정 작업과 데이터 분포에 제한되어 있다. 새로운 시나리오나 환경에 적응하기 위해 새로운 모델을 재훈련하는 것은 비싼 계산력과 시간 비용을 필요로 하며, 이는 다양한 세분화 요구를 충족할 수 있는 다목적이고 보편적인 세그멘테이션 모델에 대한 수요를 증가시키고 있다. 다양한 시나리오에 일반화하거나 다른 세그멘테이션 작업을 통합하기 위한 시도가 있었지만, 패러다임 정의와 입력-출력 공간의 한계로 인해 임의의 세분화 수준에서 정확한 내용 이해를 이루는 것이 어려웠다. 이를 해결하기 위해, 언어 지시사항의 안내를 통해 임의의 의미 수준에서 세그멘테이션을 수행할 수 있는 보편적 세그멘테이션 모델인 UniLSeg(유니엘세그)를 제시한다. UniLSeg(유니엘세그) 훈련을 위해 원래 다양한 분포에서 추출된 작업들을 통합된 데이터 형식으로 재구성하였으며, 여기서 이미지는 세그멘테이션 대상을 설명하는 텍스트와 함께 입력되며 해당 마스크가 출력된다. 또한 많은 라벨링되지 않은 데이터를 활용하기 위한 자동 주석 엔진과 결합하여, UniLSeg(유니엘세그)는 다양한 작업과 환경에서 우수한 성능을 발휘하며, 전문적인 세그멘테이션 모델 및 통합된 세그멘테이션 모델을 모두 능가하였다.