要約
画像の合成は、通常、前景と背景が異なる画像から構成されるため、表面特性や照明条件が異なり、それぞれ物質依存性および照明依存性を示す反射率（reflectance）と照明（illumination）の内在画像（intrinsic images）の不整合性に起因する、調和性の欠如（inharmony）という問題を避けがたい。本研究では、この問題を反射率と照明の分離可能な調和化、すなわち内在画像調和化によって解決することを目的とする。提案手法は、自動符号化器（autoencoder）に基づき、合成画像を反射率と照明に分離し、それぞれを別々に調和化するアプローチを採用している。具体的には、材料の特性を保持するための物質一貫性ペナルティ（material-consistency penalty）を用いて反射率を調和化し、背景から前景へと照明を学習・転移することで照明の調和化を実現している。さらに、合成画像における前景と背景のパッチ間の関係を、調和性の欠如を回避する学習方式でモデル化することで、内在画像調和化を適応的にガイドしている。広範な実験およびアブレーションスタディにより、本手法の有効性および各構成要素の貢献が実証された。また、照明調和化のベンチマーク用として新たな挑戦的なデータセットを公開した。コードとデータセットは、https://github.com/zhenglab/IntrinsicHarmony にて提供されている。