在图像中重新定位主体

当前的图像操作主要集中在静态操作上，例如替换图像中的特定区域或改变其整体风格。本文提出了一项创新的动态操作任务——主体重定位（subject repositioning），该任务旨在将用户指定的主体移动至目标位置，同时保持图像的整体真实性和视觉一致性。我们的研究发现，主体重定位这一任务所包含的若干基础子任务——包括填补被移除主体后留下的空缺区域、重建被遮挡的主体部分，以及将新位置的主体与周围环境自然融合——均可被有效重构为一个统一的、由提示词引导的图像修复（inpainting）任务。因此，我们可利用单一的扩散生成模型，通过所提出的任务逆向（task inversion）技术学习到的不同任务提示词，来统一处理上述子任务。此外，我们还引入了预处理与后处理技术，进一步提升主体重定位的生成质量。上述组件共同构成了我们的SEgment-gEnerate-and-bLEnd（SEELE）框架。为评估SEELE在主体重定位任务中的有效性，我们构建了一个真实世界场景下的主体重定位数据集，命名为ReS。在ReS数据集上的实验结果充分验证了SEELE的有效性。相关代码与ReS数据集已公开，获取地址为：https://yikai-wang.github.io/seele/。