现有的行人检测方法通常聚焦于解决密集行人之间的相互遮挡问题，或应对行人尺度的多样性。然而，对于具有显著外观差异的行人（如不同的轮廓形状、视角变化或着装差异）进行检测，仍是当前面临的关键挑战。与大多数现有方法分别学习每一种外观特征的做法不同，本文提出采用对比学习机制，引导特征学习过程：在所学习的特征空间中，尽可能缩小不同外观下行人之间的语义距离，以消除外观差异的影响，同时最大化行人与背景之间的距离。为提升对比学习的效率与效果，我们构建了一个包含代表性行人外观的原型词典（exemplar dictionary），作为先验知识，用于生成有效的对比训练样本对，从而指导对比学习过程。此外，在推理阶段，该原型词典还被进一步用于评估行人候选区域的质量，通过计算候选区域与原型词典之间的语义距离来实现。在白天与夜间行人检测任务上的大量实验结果充分验证了所提方法的有效性。