2달 전
장면 그래프를 이미지 생성을 위한 표준 표현 학습
Herzig, Roei ; Bar, Amir ; Xu, Huijuan ; Chechik, Gal ; Darrell, Trevor ; Globerson, Amir
초록
복잡한 시각적 장면의 실제적인 이미지를 생성하는 것은 생성된 이미지의 구조를 제어하려고 할 때 도전적이다. 이전 연구들은 몇 개의 엔티티만 있는 장면은 시나리오 그래프를 사용하여 제어할 수 있음을 보여주었지만, 그래프의 복잡성(객체와 엣지의 수)이 증가함에 따라 이 접근법은 어려움을 겪는다. 본 연구에서는 현재 방법들의 한 가지 제한점이 그래프에서 의미상 동등성을 포착하지 못하는 능력 부족임을 보여준다. 우리는 이러한 문제들을 해결하기 위해 데이터로부터 표준화된 그래프 표현을 학습하는 새로운 모델을 제시한다. 이 모델은 복잡한 시각적 장면에 대한 이미지 생성 성능이 향상되었으며, 입력 시나리오 그래프의 노이즈에 대한 강건성과 의미상 동등한 그래프에 대한 일반화 능력을 보여준다. 마지막으로, 우리는 Visual Genome, COCO, 그리고 CLEVR라는 세 가지 다른 벤치마크에서 모델의 성능 향상을 입증한다.