学习用于视觉位置识别的深度表示通常采用依赖于每次训练迭代中采样示例难度的成对损失函数或三元组损失函数。现有技术通过使用计算和内存开销较大的离线难样本挖掘来解决这一问题，即在每次迭代中从训练集中识别出最难的样本。本文介绍了一种基于代理的新技术，该技术执行全局难小批量采样。为此，我们在网络中添加了一个新的端到端可训练分支，该分支生成高效的位置描述符（每个位置一个代理）。这些代理表示被用来构建一个涵盖数据集中所有位置相似性的全局索引，从而在每次训练迭代中实现高度信息量的小批量采样。我们的方法可以与所有现有的成对损失函数和三元组损失函数结合使用，且几乎不会增加额外的内存和计算成本。我们进行了广泛的消融研究，并展示了我们的技术在多个大规模基准测试集上（如Pittsburgh、Mapillary-SLS和SPED）带来了新的最先进性能。特别是在具有挑战性的Nordland数据集上，我们的方法提供了超过100%的相对改进。我们的代码可在https://github.com/amaralibey/GPM 获取。