俄罗斯套娃表示学习 Matryoshka Representation Learning

俄罗斯套娃表示学习（Matryoshka Representation Learning，缩写为 MRL）是由 Aditya Kusupati 、 Gantavya Bhatt 等人提出的理论。这一理论于 2022 年首次公开发表论文「Matryoshka Representation Learning」中。论文中提出了一种新颖的表示学习方法，它能够在单个嵌入中编码不同粒度的信息，允许模型适应不同计算资源的下游任务。

它通过优化嵌套的低维向量来学习具有不同粒度的信息，并允许单个嵌入适应下游任务的计算约束。 MRL 的核心思想是在一个高维向量中学习一系列变容量的表示，这些表示按嵌套的方式明确优化，因此得名「Matryoshka」（即俄罗斯套娃）。

MRL 的关键特点包括：

1. 嵌套表示：MRL 学习在同一个高维向量中嵌套的低维向量，这些向量可以独立地表示输入数据。
2. 灵活性和多保真度：MRL 表示可以在不增加推理和部署成本的情况下，适应不同的计算资源和下游任务需求。
3. 粗到细的粒度：MRL 学习从粗粒度到细粒度的表示，使得信息随着维度的增加而增加，形成一种层次化的信息表示。
4. 自适应部署：MRL 允许基于准确性和计算约束进行自适应部署，从而在保持准确性的同时减少嵌入向量的维度。
5. 跨模态和大规模数据集：MRL 可以无缝扩展到包括视觉（如 ViT, ResNet）、视觉+语言（如 ALIGN）和语言（如 BERT）在内的不同模态，并且适用于大规模数据集，如 ImageNet 和 JFT 。
6. 开源实现：MRL 的代码和预训练模型是开源的，可以通过 GitHub 访问。

MRL 的提出旨在解决现有表示学习管道的固定容量限制，使得表示可以更加灵活地适应不同的下游任务和计算资源。通过 MRL，可以实现更高效的大规模分类和检索任务，同时在长尾少样本分类任务中提高准确性。