行人行为预测是设计适用于城市环境的辅助驾驶与自动驾驶系统所面临的关键挑战之一。智能系统需具备理解行人意图或潜在动机，并预测其后续行为的能力。迄今为止，针对智能驾驶背景下行人行为预测研究的公开数据集仍寥寥无几。为此，我们提出了一种新型大规模数据集——行人意图估计数据集（Pedestrian Intention Estimation, PIE），旨在支持该领域的深入研究。我们开展了大规模的人类实验，以建立交通场景中行人意图的基准参考数据。在此基础上，我们提出了用于估计行人过街意图的模型以及预测其未来轨迹的算法。实验结果表明，我们的意图估计模型达到了79%的准确率，而轨迹预测算法在所提出的数据集上相较于现有最先进方法提升了26%。此外，我们进一步验证了将行人意图信息与观测运动状态相结合，能够显著提升轨迹预测性能。相关数据集与模型已公开发布，访问地址为：http://data.nvision2.eecs.yorku.ca/PIE_dataset/。