识别人类行为是自主系统面临的核心挑战之一，因为这些系统直接与人类共享同一空间。系统必须能够在实时环境中识别人类行为并进行评估。为了训练相应的数据驱动算法，需要大量的标注训练数据。我们展示了一种使用标准单目摄像机传感器实时检测人类、估计其姿态、跟踪其运动并识别人类行为的流程。在行为识别方面，我们将人体姿态编码为一种新的数据格式——编码人体姿态图像（Encoded Human Pose Image, EHPI），然后可以使用计算机视觉领域的标准方法对其进行分类。通过这一简单的过程，我们在基于姿态的行为检测中达到了具有竞争力的最先进水平，并且能够保证实时性能。此外，我们还展示了一个自动驾驶背景下的应用案例，以说明如何利用仿真数据训练此类系统来识别人类行为。