近期在零样本图像识别领域的进展表明，视觉-语言模型能够学习具有高度语义信息的通用视觉表示，这些表示可以通过自然语言短语进行任意查询。然而，理解图像不仅仅是了解图像中包含的内容，更重要的是了解这些内容的位置。在这项工作中，我们研究了视觉-语言模型在理解图像中物体位置以及将视觉相关的图像部分分组方面的能力。我们展示了基于对比损失和大规模网络数据的现代视觉和语言表示学习模型如何捕获有限的物体定位信息。为此，我们提出了一组最小的修改方案，使得模型能够独特地学习语义和空间信息。我们在零样本图像识别、无监督自下而上和自上而下的语义分割以及鲁棒性分析等方面评估了这一性能。结果表明，所提出的模型在无监督分割方面达到了最先进的水平，并且我们证明了所学的表示对旨在探究视觉模型因果行为的数据集中的虚假相关性具有独特的鲁棒性。