摘要
本文研究了利用弱监督方法——通过教学叙述和步骤顺序列表，而非强监督的时序标注——来学习普通任务各步骤的视觉模型。我们方法的核心观察是：当模型在学习不同步骤时共享组件时，弱监督学习可能更为有效。例如，“倒蛋”这一动作应与涉及“倒”和“蛋”的其他任务联合训练。为此，我们提出了一种用于识别步骤的组件化模型，以及一个弱监督学习框架，能够在叙述文本和步骤列表的时序约束下学习该模型。由于以往数据无法系统性地研究任务间的共享机制，我们还构建了一个新的数据集——CrossTask，旨在评估跨任务的共享能力。实验结果表明，任务间的共享能够提升模型性能，尤其在组件层面进行共享时效果更为显著；此外，得益于其组合性特征，我们的组件化模型能够解析此前未见过的任务。