我们介绍了一种新的卷积层，称为时间高斯混合（Temporal Gaussian Mixture, TGM）层，并展示了如何利用该层高效地捕捉连续活动视频中的长期时间信息。TGM 层是一种由较少参数（例如高斯分布的位置/方差）控制的时间卷积层，这些参数完全可微分。我们提出了包含多个 TGM 层的全卷积视频模型，用于活动检测。在包括 Charades 和 MultiTHUMOS 在内的多个数据集上的广泛实验验证了 TGM 层的有效性，其性能显著优于现有方法。