本文研究了在新型场景与视角下，对未见过的摄像头中人员未来轨迹进行预测的问题。我们采用无需真实数据的训练设定，即模型仅基于三维仿真数据进行训练，并可直接应用于多种真实摄像头场景，无需额外微调。为此，我们提出一种新颖的方法——通过增强仿真训练数据来学习更具鲁棒性的表征，从而使模型在面对未见的真实测试数据时具备更强的泛化能力。其核心思想是将最难识别的摄像头视角特征与原始视角的对抗性特征进行混合。我们将该方法命名为 $\textit{SimAug}$SimAug。实验结果表明，在三个真实世界基准测试中，$\textit{SimAug}$SimAug 在零真实训练数据条件下取得了令人瞩目的性能表现；在使用领域内训练数据时，其在斯坦福无人机数据集（Stanford Drone）以及 VIRAT/ActEV 数据集上均达到了当前最先进水平。代码与模型已公开发布于 https://next.cs.cmu.edu/simaug。