摘要
多任务学习（Multi-Task Learning, MTL）作为一种方法论，通过共享的学习算法（如深度神经网络，DNN）同时学习多个任务。MTL 基于一个假设，即所考虑的任务之间存在关联；因此，它利用共享知识来提高每个单独任务的性能。通常情况下，任务被认为是同质的，即它们涉及相同类型的问题。此外，MTL 通常基于任务之间的完全或部分重叠的真实注释（ground truth annotations）。在本研究中，我们探讨了异构多任务学习（heterogeneous MTL），同时解决检测、分类和回归问题。我们探索任务相关性作为弱监督共训练的方法，以处理包含少量甚至无重叠注释的任务。任务相关性可以通过先验专家知识显式引入到 MTL 中，也可以通过数据驱动的研究引入。我们提出了一种新的分布匹配方法，在该方法中，通过匹配预测分布来实现任务之间的知识交换。基于这种方法，我们构建了 FaceBehaviorNet，这是首个用于大规模面部分析的框架，通过联合学习所有面部行为任务来实现这一目标。我们开发了以下案例研究：i) 连续情感估计、动作单元检测、基本情绪识别；ii) 属性检测、人脸识別。我们展示了通过任务相关性进行共训练可以缓解负迁移现象。由于 FaceBehaviorNet 学习到了涵盖所有面部行为方面的特征，我们进行了零样本/少样本学习以执行其未经过训练的任务，例如复合情绪识别。通过利用 10 个数据库进行的大规模实验研究，我们证明了我们的方法在所有任务和所有数据库中的表现均大幅优于现有最先进方法，即使这些数据库未被用于模型的训练。