Label2Label：一种多属性学习的语言建模框架

物体通常具有多个属性，而这些属性之间往往表现出高度相关性。建模属性之间的复杂关系对多属性学习提出了巨大挑战。本文提出了一种简单且通用的框架，称为“Label2Label”，用于挖掘复杂的属性相关性。“Label2Label”是从语言模型的角度首次尝试进行多属性预测。具体而言，该框架将每个属性标签视为描述样本的一个“词”。由于每个样本都标注了多个属性标签，这些“词”会自然地形成一个无序但有意义的“句子”，描绘了相应样本的语义信息。受预训练语言模型在自然语言处理（NLP）中取得显著成功的启发，“Label2Label”引入了一种图像条件下的掩码语言模型，该模型随机遮蔽标签“句子”中的某些“词”标记，并旨在根据被遮蔽的“句子”和图像特征传达的上下文来恢复这些标记。我们的直觉是，如果神经网络能够基于上下文和剩余的属性提示推断出缺失的属性，则说明它已经很好地掌握了实例级别的属性关系。“Label2Label”在概念上简单而在实证上强大。无需融入特定任务的先验知识和高度专门化的网络设计，我们的方法在三个不同的多属性学习任务中取得了最先进的结果，与高度定制的领域特定方法相比表现优异。代码可在 https://github.com/Li-Wanhua/Label2Label 获取。