17일 전

SESAME: 객체의 추가, 조작 또는 제거를 통한 장면의 의미 편집

Evangelos Ntavelis, Andrés Romero, Iason Kastanis, Luc Van Gool, Radu Timofte
SESAME: 객체의 추가, 조작 또는 제거를 통한 장면의 의미 편집
초록

최근 이미지 생성 기술의 발전으로 의미론적 이미지 편집을 위한 강력한 도구들이 등장하였다. 그러나 기존의 접근 방식은 단일 이미지에만 적용 가능하거나, 추가적인 정보가 풍부하게 필요하다는 한계를 가지고 있다. 이러한 방법들은 의미론적 개념의 추가, 조작, 또는 제거와 같은 전체적인 편집 작업을 동시에 처리할 수 없다. 이러한 한계를 해결하기 위해, 우리는 객체의 추가, 조작, 제거를 통해 장면의 의미론적 편집을 가능하게 하는 새로운 생성자-판별자 쌍인 SESAME을 제안한다. 본 연구에서 사용자는 편집할 영역의 의미론적 레이블을 제공하고, 생성자는 해당 영역에 해당하는 픽셀을 합성한다. 기존 방법들이 의미론적 정보와 이미지를 단순히 연결하여 입력으로 사용하는 판별자와 달리, SESAME의 판별자는 이미지와 의미론적 정보를 별도로 처리하는 두 개의 입력 스트림으로 구성되며, 의미론적 정보를 통해 이미지 처리 결과를 조작한다. 우리는 다양한 데이터셋을 대상으로 모델을 평가하였으며, 두 가지 작업에서 최신 기술 수준의 성능을 보고하였다: (a) 이미지 조작 및 (b) 의미론적 레이블에 조건부된 이미지 생성.