2 个月前
ATISS:用于室内场景合成的自回归变换器
Paschalidou, Despoina ; Kar, Amlan ; Shugrina, Maria ; Kreis, Karsten ; Geiger, Andreas ; Fidler, Sanja

摘要
自动合成逼真且多样的室内家具布局,无论是完全自动生成还是基于部分输入生成,都能解锁许多应用,从改进的交互式3D工具到用于训练和模拟的数据合成。在本文中,我们介绍了ATISS,一种新颖的自回归变压器架构,仅需提供房间类型及其平面图即可创建多样且合理的合成室内环境。与先前的工作不同,后者将场景合成交叉为序列生成问题,我们的模型生成房间时将对象视为无序集合。我们认为这种表述更为自然,因为这使得ATISS不仅限于完全自动化的房间布局合成,在其他方面也具有广泛的应用价值。例如,同一训练好的模型可以用于交互式应用中的通用场景补全、用户指定的任何对象的部分房间重新布置以及任何部分房间的对象建议。为了实现这一点,我们的模型在条件化部分场景时利用了变压器的排列等变性,并被训练为对对象顺序排列不变。我们的模型仅使用带有标签的3D边界框作为监督信号进行端到端的自回归生成模型训练。在3D-FRONT数据集上的四种房间类型的评估表明,我们的模型始终能生成比现有方法更逼真的合理房间布局。此外,该模型参数较少、实现和训练更简单,并且运行速度可比现有方法快至8倍。