摘要
可逆卷积自Glow提出以来，已成为构建高表达能力的归一化流（normalizing flow）生成模型的核心组件。为实现训练与采样过程中的高效性，研究者们提出了多种可逆的 $k \times k$ 卷积结构。尽管这些方法在提升模型表达能力和采样效率方面取得了一定进展，但在采样速度上仍远落后于仅使用 $1 \times 1$ 卷积的Glow模型。此外，许多现有方法对底层卷积的大量参数进行掩码（masking），导致在固定运行时间预算下模型表达能力受限。本文提出一种新型的 $k \times k$ 卷积层及深度归一化流架构，具备以下优势：i.) 拥有快速的并行逆向计算算法，时间复杂度为 O$(n k^2)$（其中 $n$ 为输入图像的高度与宽度，$k$ 为卷积核尺寸）；ii.) 在每一层中仅掩码最少数量的可学习参数，从而最大化模型表达能力；iii.) 在真实世界基准测试中，前向传播与采样速度均达到与其他基于 $k \times k$ 卷积的模型相当的水平。我们实现了基于所提可逆卷积的并行采样算法，并在GPU上完成部署。在CIFAR-10、ImageNet和CelebA数据集上的实验表明，该方法在“每维度比特数”（bits per dimension）指标上与先前工作表现相当，同时显著提升了采样效率。