2달 전

パンオプティック 레이아웃 생성을 이용한 인터랙티브 이미지 합성

Wang, Bo ; Wu, Tao ; Zhu, Minfeng ; Du, Peng
パンオプティック 레이아웃 생성을 이용한 인터랙티브 이미지 합성
초록

사용자 지도 입력을 통한 상호작용적 이미지 생성은 사용자가 생성된 이미지의 장면 구조를 쉽게 제어하길 원할 때 어려운 과제입니다. 레이아웃 기반 이미지 생성 접근법에서 큰 진전이 이루어졌음에도 불구하고, 상호작용적인 장면에서 현실적인 가짜 이미지를 얻기 위해서는 기존 방법들이 고정밀 입력을 필요로 하며, 이는 여러 번 조정이 필요할 수 있고 초보 사용자에게 친숙하지 않습니다. 경계 박스의 배치가 변동에 영향을 받을 경우, 레이아웃 기반 모델은 구성된 의미론적 레이아웃에서 "누락된 영역" 문제를 겪게 되고, 이로 인해 생성된 이미지에 바람직하지 않은 잔상(artifacts)이 발생합니다. 본 연구에서는 이러한 도전 과제를 해결하기 위해 팬오 若要保持正式和准确,我将继续翻译:본 연구에서는 이러한 도전 과제를 해결하기 위해 팬오프틱 레이아웃 생성 적대 신경망(Panoptic Layout Generative Adversarial Networks, PLGAN)을 제안합니다. PLGAN은 물체 범주를 형태가 불분명한 "배경(stuff)"과 형태가 명확히 정의된 "물체(things)"로 구분하는 팬오프틱 이론을 활용하여, 배경 및 인스턴스 레이아웃을 별도의 분기에서 구성하고 나중에 팬오프틱 레이아웃으로 융합합니다. 특히, 배경 레이아웃은 형태가 불분명한 모양을 취하며 인스턴스 레이아웃에서 누락된 영역을 채울 수 있습니다. 우리는 COCO-Stuff, Visual Genome, 그리고 Landscape 데이터셋에서 PLGAN을 최신의 레이아웃 기반 모델들과 실험적으로 비교하였습니다. PLGAN의 우수성은 시각적으로 입증되며, 초기화 점수(inception score), 프레셰트 초기화 거리(Fr\'echet inception distance), 분류 정확도 점수(classification accuracy score), 그리고 커버리지(coverage) 측면에서 정량적으로 검증되었습니다.

パンオプティック 레이아웃 생성을 이용한 인터랙티브 이미지 합성 | 최신 연구 논문 | HyperAI초신경