本文的目标是学习图像集的紧凑表示，以实现基于模板的人脸识别。我们做出了以下贡献：首先，提出了一种网络架构，该架构可以将由深度卷积神经网络生成的人脸描述符聚合并嵌入到一个紧凑的固定长度表示中。这种紧凑表示所需的存储空间极小，并且能够高效地进行相似度计算。其次，我们提出了一种新颖的GhostVLAD层，其中包含不参与聚合的{\em 幽灵聚类}（ghost clusters）。我们展示了输入人脸的质量权重会自动出现，使得信息量大的图像比质量低的图像贡献更多，并且幽灵聚类增强了网络处理低质量图像的能力。第三，我们探讨了输入特征维度、聚类数量以及不同的训练技术如何影响识别性能。通过这一分析，我们在IJB-B人脸数据集上训练了一个显著超越现有最先进水平的网络。目前，IJB-B是最具挑战性的公开基准之一，我们在其身份识别和验证协议上均超过了最先进水平。