视觉问答（VQA）模型在处理自然图像中的物体计数问题时一直面临挑战。我们发现这些模型中软注意力机制存在一个根本性的问题，这是导致计数困难的原因之一。为了解决这一问题，我们提出了一种神经网络组件，该组件可以从物体建议中实现稳健的计数。我们在一个玩具任务上的实验表明了该组件的有效性，并且在VQA v2数据集的数量类别上取得了最先进的准确率，而不会对其他类别产生负面影响，甚至单个模型的表现超过了集成模型。在一个难度较高的平衡对度量指标上，该组件相比强大的基线模型在计数方面提高了6.6%。