我们如何学习一个对遮挡和形变具有不变性的目标检测器？目前的解决方案是采用数据驱动策略——收集大规模的数据集，其中包含在不同条件下的目标实例。我们的期望是最终的分类器能够利用这些样本来学习不变性。但是，是否真的可能在一个数据集中看到所有的遮挡情况呢？我们认为，就像类别一样，遮挡和目标形变也遵循长尾分布。一些遮挡和形变非常罕见，几乎不会发生；然而，我们希望学习一个对这些情况具有不变性的模型。在本文中，我们提出了一种替代方案。我们建议学习一个生成带有遮挡和形变样本的对抗网络。对抗网络的目标是生成对目标检测器难以分类的样本。在我们的框架中，原始检测器和对抗网络以联合的方式进行学习。实验结果表明，与Fast-RCNN管道相比，该方法在VOC07目标检测挑战中提升了2.3%的mAP，在VOC2012目标检测挑战中提升了2.6%的mAP。我们还发布了本文的相关代码。