一句话总结

来自庆熙大学和NAVER Cloud的研究者提出了RCORE，一种零样本组合动作识别方法。该方法通过使用共现先验正则化（Co-occurrence Prior Regularization）将频繁共现视为硬负样本，并采用组合时序顺序正则化（Temporal Order Regularization for Composition）来强制模型对时序顺序敏感，从而减轻物体驱动的捷径学习，最终在Sth-com和EK100-com上提升了组合泛化能力。

核心贡献

• 诊断指标量化了零样本组合动作识别中的物体驱动捷径学习和共现过拟合问题，揭示了现有模型依赖训练集中的共现先验，而非时序动词线索。
• RCORE是一个正则化框架，包含共现先验正则化（CPR），将频繁共现先验视为硬负样本并为未见过的组合添加监督；以及组合时序顺序正则化（TORC），强制模型对时序顺序敏感，以学习基于时间的动词表征。
• 在Sth-com和EK100-com上，RCORE降低了捷径诊断分数，并提升了未见组合的准确率，展示了更强的组合泛化能力，且无需依赖测试集校准的偏置调整。

引言

作者研究了零样本组合动作识别（ZS-CAR），即模型必须从视频中识别未见过的动词-物体对，而动词和物体的词汇表在数据划分中保持不变。鲁棒的视频理解依赖于将这些动作正确分解为这些基本元素，但之前的模型经常依赖物体驱动的捷径：它们从静态物体线索而非时序证据中预测动词。这种失败源于两个相互交织的问题——稀疏且不平衡的组合监督放大了共现先验，以及不对称的学习难度，即从单帧中识别物体比需要多帧推理的动词更容易。因此，现有方法对未见组合的泛化能力差，并且常常混淆时序顺序相反的动词。为了解决这个问题，作者首先用两个指标（错误已见预测和错误共现预测）诊断捷径行为，量化未见输入坍缩为频繁训练对的频率。然后，他们提出了RCORE框架，通过共现先验正则化扩展对缺失组合的监督并抑制主导对，以及通过组合时序顺序正则化强制学习基于时间的动词表征。RCORE减少了捷径依赖，并在多个基准和骨干网络上提升了未见组合的泛化能力。

方法

作者提出了RCORE，一个诊断驱动的学习框架，旨在减轻零样本组合动作识别中的物体驱动捷径。RCORE通过两个互补的组件——共现先验正则化（CPR）和组合时序顺序正则化（TORC）——在稀疏监督下强化动词-物体表征，从而提升组合泛化能力。遵循先前工作，骨干网络采用基于适配器的微调。

如下图所示：

特征提取 给定一个包含 $T$T 帧的视频，骨干编码器输出帧级特征 $\mathbf{F} \in \mathbb{R}^{T \times D}$F∈RT×D。这些特征通过专用编码器被转换为动词特征 $\mathbf{F}^V \in \mathbb{R}^{T \times D}$FV∈RT×D 和物体特征 $\mathbf{f}^O \in \mathbb{R}^D$fO∈RD。动词和物体的文本嵌入，$\mathbf{E}^V \in \mathbb{R}^{|\mathbb{Y}^V| \times D}$EV∈R∣YV∣×D 和 $\mathbf{E}^O \in \mathbb{R}^{|\mathbb{Y}^O| \times D}$EO∈R∣YO∣×D，是通过将类别特定的提示词输入文本编码器获得的。

共现先验正则化 为了减轻稀疏且不平衡的组合监督下的物体驱动捷径，CPR 为合成的动词-物体对注入监督，同时保持闭集优化的稳定性。

合成组合监督：为了给训练集中缺失的组合提供显式监督，作者合成了代表新组合标签的视频。给定一个带有组合标签 $\mathbf{y}_i^C = (\mathbf{y}_i^V, \mathbf{y}_i^O)$yiC​=(yiV​,yiO​) 的训练样本 $\mathbf{X}_i$Xi​，通过将另一个视频 $\mathbf{X}_j$Xj​ 的静态物体线索注入到 $\mathbf{X}_i$Xi​ 的高运动区域来构建一个新的视频 $\tilde{\mathbf{X}}_i$X~i​。对于每一帧 $k \in \{1, \ldots, T\}$k∈{1,…,T}，其公式为： $\tilde{\mathbf{X}}_i^k = (\mathbf{1} - \lambda \mathbf{M}_i^k) \odot \mathbf{X}_i^k + (\lambda \mathbf{M}_i^k) \odot \mathbf{X}_j^{\lfloor T/2 \rfloor}$X~ik​=(1−λMik​)⊙Xik​+(λMik​)⊙Xj⌊T/2⌋​ 其中 $\lambda$λ 控制注入强度，$\mathbf{M}_i^k \in \{0, 1\}^{H \times W}$Mik​∈{0,1}H×W 是通过无学习估计器提取的高运动区域掩码。合成视频使用软标签。

共现先验正则化损失：为了对抗由不平衡共现统计导致的分数坍缩，一个边际约束强制目标合成组合的分数至少比频繁出现的已见硬负样本高出 $m$m。硬负样本被定义为与目标组合共享动词或物体但并非两者都共享的组合。损失函数为： $L_{\text{CPR}} = \sum_{\mathbf{y}^C \in \mathbb{Y}_{\text{pen}}} \max(0, s(\mathbf{y}^C) - s(\mathbf{y}_{i, \text{new}}^C) + m)$LCPR​=∑yC∈Ypen​​max(0,s(yC)−s(yi,newC​)+m) 其中 $s(\mathbf{y}^C)$s(yC) 是组合 $\mathbf{y}^C$yC 的logit，$\mathbb{Y}_{\text{pen}}$Ypen​ 是硬负样本和频繁出现的已见组合的交集。

批次自适应标签空间扩展：为了在不优化整个联合空间的情况下监督新颖组合，为每个小批次构建一个扩展的标签集 $\mathbb{Y}_{\text{exp}} = \mathbb{Y}_{\text{seen}} \cup \mathbb{Y}_{\text{new}}$Yexp​=Yseen​∪Ynew​。仅在 $\mathbb{Y}_{\text{exp}}$Yexp​ 上计算交叉熵。

组合时序顺序正则化 为了对抗动词学习中的物体驱动捷径，TORC 正则化动词表征，使其依赖于时序结构。

时序扰动：给定帧级特征 $\mathbf{F} = (\mathbf{f}_1, \ldots, \mathbf{f}_T)$F=(f1​,…,fT​)，形成两个正则化视图：一个反转序列 $\mathbf{F}_{\text{rev}} = (\mathbf{f}_T, \ldots, \mathbf{f}_1)$Frev​=(fT​,…,f1​) 和一个时序打乱序列 $\mathbf{F}_{\text{shuffled}} = \pi(\mathbf{F})$Fshuffled​=π(F)。这些序列被送入动词编码器以获得 $\mathbf{f}_{\text{rev}}^V$frevV​ 和 $\mathbf{f}_{\text{shuffled}}^V$fshuffledV​。

TORC 损失：通过最小化原始动词特征 $\mathbf{f}^V$fV 和反转特征 $\mathbf{f}_{\text{rev}}^V$frevV​ 之间的余弦相似度，推动模型区分正向和反转的时序语义： $L_{\text{cos}} = \frac{\mathbf{f}^{V\top} \mathbf{f}_{\text{rev}}^V}{\|\mathbf{f}^V\| \|\mathbf{f}_{\text{rev}}^V\|}$Lcos​=∥fV∥∥frevV​∥fV⊤frevV​​ 此外，为了防止在时序顺序被破坏时做出置信度高的动词预测，对打乱后的特征应用负熵损失： $L_{\text{ent}} = \sum_{m=1}^{|\mathbb{Y}^V|} p_m \log p_m$Lent​=∑m=1∣YV∣​pm​logpm​ 其中 $p_m$pm​ 是基于与文本嵌入的余弦相似度预测的第 $m$m 个动词类别的概率。总的 TORC 损失为 $L_{\text{TORC}} = L_{\text{cos}} + L_{\text{ent}}$LTORC​=Lcos​+Lent​。

训练目标 作者基于余弦相似度分数计算动词和物体的logits，并应用标准的交叉熵损失 $L_{\text{com}} = L_V + L_O$Lcom​=LV​+LO​。组合logits $\mathbf{S}_C$SC​ 通过聚合分解后的logits获得。最终的组合损失利用了动态构建的分母 $\mathbb{Y}_{\text{exp}}$Yexp​： $L_{\text{comp}} = -\log \left( \frac{\exp(\hat{s}_c)}{\sum_{c=1}^{|\mathbb{Y}_{\text{exp}}|} \exp(s_c)} \right)$Lcomp​=−log(∑c=1∣Yexp​∣​exp(sc​)exp(s^c​)​) 总训练目标为： $L_{\text{total}} = \alpha L_{\text{com}} + \beta L_{\text{comp}} + \gamma L_{\text{TORC}} + \delta L_{\text{CPR}}$Ltotal​=αLcom​+βLcomp​+γLTORC​+δLCPR​ 其中 $\alpha, \beta, \gamma$α,β,γ 和 $\delta$δ 是超参数。

实验

实验诊断表明，零样本组合动作识别模型依赖物体驱动的捷径，即更容易的物体线索主导了动词学习，并导致对未见组合的泛化能力差，即使使用视频预训练的骨干网络，这种倾向仍然存在。所提出的RCORE方法减少了这种对共现先验的依赖并减轻了捷径学习，从而提升了未见组合的准确率，并在各基准上实现了正向的组合差距。消融研究证实，结合共现惩罚正则化和时序对立关系约束能产生更鲁棒的动词表征和有效的组合行为。

该表格报告了在Something-something数据集上，CLIP和InternVideo2骨干网络的组合泛化能力变化（∆cG）。两个骨干网络在已见组合上都显示出正向的∆cG，但在未见组合上显示出负向的∆cG，表明该方法以牺牲未见组合的泛化能力为代价提高了已见组合的准确率。CLIP骨干网络在未见组合上的下降幅度小于InternVideo2。两个骨干网络都提高了已见组合的准确率（正向∆cG），同时降低了未见组合的准确率（负向∆cG）。CLIP在未见组合准确率上的下降幅度小于InternVideo2，表明在已见和未见性能之间的权衡不那么严重。

与C2C基线相比，RCORE持续提升了未见组合的准确率和未见对上的动词识别能力，在CLIP和InternVideo2骨干网络上均观察到提升。它是唯一一个在未见组合上实现正向组合差距的方法，表明其对新颖组合的泛化能力更强。相比之下，Jung等人的方法在CLIP基线中取得了最高的已见组合准确率，但未见组合准确率最低，显示出对已见对的强烈偏向。RCORE是唯一一个在未见组合上具有正向组合差距的方法，而所有基线都表现出负向差距，这表明其开放世界的组合行为得到了改善。Jung等人的方法在CLIP基线中取得了最高的已见组合准确率，但未见组合准确率最低，为了已见对的性能牺牲了泛化能力。

在Sth-com的闭集协议下，RCORE在没有增强骨干网络的方法中取得了最高的调和平均数和AUC。增强版本进一步提升了这两个指标，超过了包括LogicCAR在内的所有基线。RCORE在其骨干网络组内取得了最高的闭集调和平均数和AUC，优于C2C和Jung等人的方法。RCORE（增强版）取得了最佳的总体调和平均数和AUC，超过了LogicCAR和C2C（增强版）。

在EK100-com上，RCORE取得了最高的已见和未见组合准确率的调和平均数，这得益于在C2C基线上对未见组合的大幅提升。它是唯一一个在未见对上表现出正向组合差距的方法，表明减少了对共现先验的依赖，并更好地泛化到新颖的动词-物体组合。相比之下，在该数据集稀疏监督的条件下，Jung等人的方法在已见和未见组合上的表现均不如C2C。RCORE在未见组合准确率上大幅超越C2C（使用CLIP时提升6.9个百分点，使用InternVideo2时提升7.0个百分点），而已见准确率有所下降。RCORE是唯一一个在未见组合上具有正向组合差距的方法，与所有基线的负向差距形成对比。Jung等人的方法在已见和未见划分上的组合准确率均低于C2C，分别下降了3.2和4.6个百分点。RCORE在每个骨干网络组内取得了最佳的已见和未见组合准确率的调和平均数。

结合CPR和TORC取得了最佳的整体性能，提升了未见组合的准确率和调和平均数，同时减轻了单独使用CPR时观察到的已见-未见权衡问题。单独使用TORC在未见组合的动词泛化上带来了最大收益，其两个互补的损失项共同提供了最大的提升。对于CPR，批次自适应标签空间扩展和仅惩罚频繁出现的硬负样本对于在已见和未见组合识别之间实现最佳平衡至关重要。单独使用TORC比基线提高了未见组合的动词准确率3.5个百分点，未见组合准确率3.8个百分点，使其成为动词泛化方面最强大的单一组件。单独使用CPR将未见组合准确率提高了3.1个百分点，但将已见组合准确率降低了4.2个百分点，揭示了已见和未见性能之间的明显权衡。结合CPR和TORC取得了最高的调和平均数（39.48）和未见组合准确率（35.16），且已见准确率的下降幅度小于单独使用CPR，表明存在互补效应。在TORC中，同时使用时序判别损失和静态线索预防损失，在未见动词和组合准确率上取得了最大收益。CPR中的批次自适应标签空间扩展比闭集训练提高了未见组合准确率2.3个百分点，而朴素的全局空间训练严重损害了未见组合的性能。在CPR中仅惩罚频繁出现的硬负样本取得了最佳的调和平均数（37.7%），而惩罚所有硬负样本会降低物体预测和整体组合准确率。

实验使用CLIP和InternVideo2骨干网络在Something-something和EK100-com上评估了组合泛化能力。标准方法以牺牲未见组合的泛化能力为代价提高了已见组合的准确率，而RCORE是唯一一个在未见组合上产生正向组合差距的方法，表明减少了对共现先验的依赖。结合CPR和TORC实现了最佳平衡，其中TORC增强了动词泛化能力，而CPR的批次自适应标签扩展和选择性硬负样本惩罚对于开放世界性能至关重要。