行人检测一直被视为一个超越一般物体检测的特殊课题。尽管近期的深度学习物体检测器如Fast/Faster R-CNN [1, 2]在一般物体检测方面表现出色，但在行人检测方面却收效甚微，以往领先的行人检测方法通常是结合手工设计特征和深度卷积特征的混合方法。本文中，我们探讨了Faster R-CNN [2]在行人检测中存在的问题。我们发现，Faster R-CNN中的区域提议网络（Region Proposal Network, RPN）确实可以作为一个独立的行人检测器表现良好，但令人惊讶的是，下游分类器却降低了整体性能。我们认为导致精度不高的两个原因是：(i) 特征图分辨率不足，难以处理小目标实例；(ii) 缺乏任何用于挖掘难例负样本的引导策略。基于这些观察结果，我们提出了一种非常简单但有效的行人检测基线方法，该方法使用RPN后接共享高分辨率卷积特征图上的提升森林（boosted forests）。我们在多个基准数据集（Caltech、INRIA、ETH和KITTI）上对这一方法进行了全面评估，展示了其具有竞争力的精度和良好的速度。代码将公开发布。