尽管视频问答（VideoQA）领域取得了显著进展，现有方法在处理需要跨帧因果性或时间推理的问题时仍表现不足。这一局限主要源于运动信息表征的不精确。为此，我们提出了动作时间建模（Action Temporality Modeling, ATM），通过三个独特设计实现更精准的时间推理能力：（1）重新审视光流（optical flow）的作用，发现光流在捕捉长时程时间依赖关系方面具有显著有效性；（2）采用以动作为中心的对比学习策略训练视觉-文本嵌入表示，从而在视觉与文本模态中均获得更优的动作表征；（3）在微调阶段引入视频帧顺序打乱的样本，强制模型无法依赖外观与运动之间的虚假关联进行作答，从而避免错误相关性，确保时间推理的可靠性。实验结果表明，ATM在多个VideoQA数据集上均显著优于现有方法，且在真实时间推理能力方面表现更优。