초록
비전-언어 모델링은 어떤 텍스트 프롬프트도 사용하여 예측을 질의할 수 있는 오픈-어휘 태스크를 가능하게 하였습니다. 기존의 오픈-어휘 태스크는 객체 클래스에 초점을 맞추고 있지만, 신뢰할 수 있는 속성 중심 평가 벤치마크 부족으로 인해 객체 속성에 대한 연구는 제한적이었습니다. 본 논문에서는 새로운 오픈-어휘 속성 검출(OVAD) 태스크와 해당 OVAD 벤치마크를 소개합니다. 이 새로운 태스크와 벤치마크의 목적은 비전-언어 모델이 학습한 객체 수준의 속성 정보를 조사하는 것입니다. 이를 위해 MS COCO의 80개 객체 클래스에서 117개 속성 클래스를 포함하는 깨끗하고 밀도 높게 주석화된 테스트 세트를 생성하였습니다. 이 벤치마크는 긍정적 및 부정적 주석을 포함하여 오픈-어휘 평가를 가능하게 합니다. 총 140만 개의 주석으로 구성되어 있습니다. 참고로, 우리는 오픈-어휘 속성 검출을 위한 첫 번째 기준 방법을 제공합니다. 또한, 여러 기초 모델들의 속성 검출 성능을 분석함으로써 벤치마크의 가치를 입증하였습니다. 프로젝트 페이지: https://ovad-benchmark.github.io