从视频中定位人物并识别其行为是实现高层次视频理解的一项具有挑战性的任务。近年来，通过建模实体之间的直接二元关系已经取得了一些进展。在本文中，我们更进一步，不仅建模了实体对之间的直接关系，还考虑了基于多个元素建立的间接高阶关系。我们提出显式建模演员-情境-演员（Actor-Context-Actor）关系，即两个演员基于与情境的互动而产生的关系。为此，我们设计了一种演员-情境-演员关系网络（ACAR-Net），该网络基于一种新颖的高阶关系推理算子和一个演员-情境特征库，以支持时空行为定位中的间接关系推理。在AVA和UCF101-24数据集上的实验表明，建模演员-情境-演员关系的优势明显，注意力图的可视化进一步验证了我们的模型能够发现支持行为检测的相关高阶关系。值得注意的是，我们的方法在ActivityNet Challenge 2020的AVA-Kinetics行为定位任务中排名第一，显著优于其他参赛作品（+6.71 mAP）。训练代码和模型将在https://github.com/Siyu-C/ACAR-Net上提供。