一句话总结

LongE2V由台湾阳明交通大学的研究人员提出，通过微调预训练视频扩散先验，联合处理基于事件的视频重建、预测与帧插值，并引入自回归展开、自适应上下文切换、带交叉残差校正的重编码对齐以及事件体素密度增强，以缓解时间漂移并确保双向一致性，从而在真实世界基准上取得最先进性能与零样本泛化能力。

核心贡献

• LongE2V微调预训练视频扩散模型，以联合处理基于事件的视频重建、预测与帧插值，在真实世界基准上实现高感知质量与数据效率。
• 引入自回归展开与自适应上下文切换，通过动态更新生成上下文而非依赖固定调度，缓解极长序列中的时间漂移。
• 针对帧插值，带交叉残差校正的重编码对齐解决了3D VAE中的时间错位问题，确保生成帧之间的精确双向一致性。

引言

事件相机以微秒级分辨率和高动态范围捕获高速动态，但其稀疏、无强度的输出使视频重建成为病态问题。以往方法常产生模糊纹理、长期预测中的漂移或插值中的鬼影伪影，且通常需要为每个任务设计独立架构。作者提出LongE2V，一个利用预训练视频扩散模型执行基于事件的重建、预测和帧插值的统一框架。为确保稳定性，他们提出带自适应上下文切换的自回归展开；对于插值，重编码对齐与交叉残差校正解决了时间错位。事件体素密度增强进一步实现了跨传感器分辨率的鲁棒泛化，在感知质量和零样本迁移方面超越现有方法。

方法

作者采用CogVideoX I2V作为基础视频扩散模型，该模型使用3D VAE将视频编码为潜在表示$Z_0$Z0​，时间压缩4倍，空间压缩8倍。扩散Transformer (DiT) 被训练以最小化去噪目标： $\mathcal{L} = \mathbb{E}_{Z_0, t, C, \epsilon} \left[ \|\epsilon - \epsilon_\theta(Z_t, t, C)\|_2^2 \right]$L=EZ0​,t,C,ϵ​[∥ϵ−ϵθ​(Zt​,t,C)∥22​] 其中$Z_t$Zt​为带噪潜在表示，$C$C表示条件信号。推理时，模型迭代地去噪随机高斯噪声以合成干净潜在表示，再解码回像素空间。对于事件表示，事件相机捕获异步流$\{e_i\}_{i=1}^N${ei​}i=1N​，其中$e_i = (x_i, y_i, t_i, p_i)$ei​=(xi​,yi​,ti​,pi​)。为进行基于帧的处理，这些事件通过线性插值将极性$p_i \in \{\pm 1\}$pi​∈{±1}累积到$B$B个时间仓中，离散化为体素网格$V \in \mathbb{R}^{B \times H \times W}$V∈RB×H×W： $V(t, y, x) = \sum_{i} p_i \max(0, 1 - |t - t_i^*|) \delta(x - x_i, y - y_i)$V(t,y,x)=∑i​pi​max(0,1−∣t−ti∗​∣)δ(x−xi​,y−yi​) 其中$\delta$δ为克罗内克函数，$t_i^* \in [0, B-1]$ti∗​∈[0,B−1]表示相对于时长$\Delta t$Δt的归一化时间戳。实验中$B=3$B=3。

为将异步事件与离散帧$X = \{x_0, \ldots, x_{F-1}\}$X={x0​,…,xF−1​}对齐，事件流被划分为时间窗口。事件体素$v_k$vk​对应于时间戳$t_k$tk​处的帧$x_k$xk​，通过聚合区间$[t_{k-1}, t_k)$[tk−1​,tk​)内的事件得到。由此产生同步的事件序列$V = \{v_1, \dots, v_{F-1}\}$V={v1​,…,vF−1​}。

为缓解长视频生成中的误差累积与伪影传播，作者采用上下文帧和上下文事件体素作为历史条件。然而，以历史为条件会在训练与推理之间引入领域差距。为弥合这一差距，提出自回归展开训练策略。初始时，模型使用真实上下文帧训练直至收敛。随后，激活展开机制，将训练集上生成的预测替换为上下文帧用于后续微调。这种迭代展开迫使模型适应自身的预测误差，有效对齐训练分布与推理行为。

为增强对传感器变化的鲁棒性，引入事件体素密度增强策略。事件体素在保持宽高比的前提下随机缩放，动态范围限制在$[S_{min}, S_{max}]$[Smin​,Smax​]内。下界$S_{min}$Smin​略大于网络输入以利于随机裁剪，上界$S_{max}$Smax​上限为原始分辨率的2倍。基于非零值的统计量进行归一化以保持稀疏性。对第一帧、上下文帧和当前视频帧同步施加相同的几何变换以维持空间对齐。

空间与时间对齐后，所有输入通过冻结的3D VAE编码。最终输入潜在表示由三个时间对齐的序列沿通道维度拼接而成：(1) 上下文潜在表示与零填充的第一帧潜在表示$Z_{x_0}$Zx0​​，(2) 上下文潜在表示与噪声潜在表示$Z_t$Zt​，(3) 上下文事件潜在表示与当前事件潜在表示。为容纳额外的事件条件，patchify模块中的第一投影层被扩展，权重$\mathbf{W}_{in} \in \mathbb{R}^{D \times 2C_{vae} \times K \times K}$Win​∈RD×2Cvae​×K×K扩展为$\mathbf{W}_{in}^* \in \mathbb{R}^{D \times 3C_{vae} \times K \times K}$Win∗​∈RD×3Cvae​×K×K。训练时，该扩展层被完全微调，DiT块使用LoRA。损失仅计算在$Z_t$Zt​分量上。

作者通过调整输入条件，将基于事件的视频重建、预测与帧插值形式化为基于事件的视频生成任务。对于视频重建，模型仅从事件恢复光度细节。对于视频预测，给定起始帧、事件流和上下文，模型生成后续视频帧。对于视频帧插值，给定起始帧和结束帧作为边界条件，模型利用前向与后向事件流合成中间帧。

为减少自回归生成中的误差累积，引入自适应上下文切换。去噪后的潜在表示$\hat{Z}_0$Z^0​重新输入DiT以提取注意力图$A$A，并计算当前token关注上下文token的平均注意力权重$\mu_{attn}$μattn​： $\mu_{attn} = \frac{1}{L \times H \times N_{curr}} \sum_{l=1}^{L} \sum_{h=1}^{H} \sum_{i \in \text{Current}} \sum_{j \in \text{Context}} A_{i,j}^{(l,h)}$μattn​=L×H×Ncurr​1​∑l=1L​∑h=1H​∑i∈Current​∑j∈Context​Ai,j(l,h)​ 其中$L$L为层数，$H$H为注意力头数，$N_{curr}$Ncurr​为当前token数。若$\mu_{attn} \ge \tau$μattn​≥τ，保留现有上下文。若$\mu_{attn} < \tau$μattn​<τ，表明相关性低，触发上下文切换：丢弃当前生成，将上下文更新为直接前驱，并重新生成该块。

对于零样本插值，提出重编码对齐以纠正3D VAE中潜在空间与像素空间操作不可交换性导致的时间错位。预测的干净潜在表示$\hat{Z}_0$Z^0​被解码，在像素空间翻转后重新编码： $\tilde{Z}_0^{fwd} = \mathcal{E}(\text{Flip}_{pix}(\mathcal{D}(\hat{Z}_0^{fwd}))), \quad \tilde{Z}_0^{bwd} = \mathcal{E}(\text{Flip}_{pix}(\mathcal{D}(\hat{Z}_0^{bwd})))$Z~0fwd​=E(Flippix​(D(Z^0fwd​))),Z~0bwd​=E(Flippix​(D(Z^0bwd​))) 这确保了双向分支之间精确的时间对齐。为补偿额外解码-编码循环造成的重建损失，引入交叉残差校正。计算原始$\hat{Z}_0$Z^0​与重编码$\bar{Z}_0 = \mathcal{E}(\mathcal{D}(\hat{Z}_0))$Zˉ0​=E(D(Z^0​))潜在表示之间的残差： $\Delta \hat{Z}_0^{fwd} = \hat{Z}_0^{fwd} - \bar{Z}_0^{fwd}, \quad \Delta \hat{Z}_0^{bwd} = \hat{Z}_0^{bwd} - \bar{Z}_0^{bwd}$ΔZ^0fwd​=Z^0fwd​−Zˉ0fwd​,ΔZ^0bwd​=Z^0bwd​−Zˉ0bwd​ 然后将对侧残差注入对齐后的潜在表示： $Z_0^{\prime bwd} = \tilde{Z}_0^{bwd} + \Delta \hat{Z}_0^{fwd}, \quad Z_0^{\prime fwd} = \tilde{Z}_0^{fwd} + \Delta \hat{Z}_0^{bwd}$Z0′bwd​=Z~0bwd​+ΔZ^0fwd​,Z0′fwd​=Z~0fwd​+ΔZ^0bwd​ 这恢复了高频细节并促进时间一致性。最后，校正后的潜在表示通过alpha混合融合，并重新加噪用于后续循环。

实验

模型在BS-ERGB数据集上训练，并在ECD、MVSEC和HQF的真实事件序列上评估重建与预测，在BS-ERGB和HQF上评估帧插值。对比表明，它在短期与长期重建及预测中始终优于先前最先进方法，甚至在零样本设定下超越专用插值模型，产生更清晰、更连贯的输出。消融研究证实预训练扩散先验、上下文机制和自回归训练对稳定性的重要性，而对于插值，重编码对齐、交叉残差校正和事件体素增强是避免伪影的关键。此外，模型可利用其文本引导生成骨干，根据文本提示进行事件视频着色。

所提方法在重建中取得最佳感知质量，在所有三个数据集上获得最低LPIPS分数，并超越基于回归的基线。对于预测，它在每个指标和数据集上均显著优于VDM-EVFI，展现出鲁棒的长期生成能力。这些发现在ECD、MVSEC和HQF上一致。该方法在重建中始终获得最低LPIPS，表明相比回归方法具有优越的感知质量。在预测任务中，它在所有指标和数据集上均显著超越VDM-EVFI，验证了其长期生成能力。

一种用于基于事件视频帧插值的零样本生成方法在感知质量和泛化性上超越专用监督基线。在HQF数据集上，它取得最佳PSNR、SSIM和LPIPS；在ERGB上，它提供可比的保真度指标，同时纹理显著更清晰。不同于为更高PSNR牺牲细节的回归方法，该方法保留高频结构并避免鬼影或错位。零样本模型在两个数据集上均取得最低LPIPS，且在HQF上也获得最高PSNR和SSIM，展现出无需微调的强泛化能力。定性对比显示，该方法重建出清晰可读的文字并保持结构完整性，而监督基线则产生模糊、鬼影和色彩伪影。

省略预训练先验会阻止收敛并导致极低的重建质量。添加上下文、自回归展开和自适应上下文切换逐步减少误差累积，完整配置在所有指标上取得最高保真度。没有预训练先验，模型无法收敛并输出接近噪声的结果。融入上下文和自回归展开显著提升PSNR、SSIM和LPIPS。自适应上下文切换提供最终精炼，在所有指标上获得最佳分数。

移除重编码对齐会导致严重模糊，证实其在结构保真度中的作用。交叉残差校正显著提升感知质量，将LPIPS降低0.037，而事件体素密度增强提高了对密度不匹配的鲁棒性。三种组件的完整组合带来最高PSNR、SSIM和最低LPIPS。在重编码对齐基础上启用交叉残差校正大幅提升PSNR并降低LPIPS，减轻鬼影和半透明伪影。添加事件体素密度增强获得最低LPIPS（0.124），并防止密度不匹配导致的色彩偏差和黑色条纹伪影。

评估涵盖多个数据集上的基于事件视频重建与预测，将所提方法与回归基线和专用监督基线进行比较。该方法始终取得优越的感知质量，其零样本生成变体泛化能力强，产生清晰、无伪影的输出。消融研究证实预训练先验对收敛至关重要，而自回归展开、自适应上下文切换和对齐校正逐步减少误差累积和结构失真，在长期生成中实现最高保真度。