针对老龄化社会带来的医疗健康挑战，各类环境感知辅助生活（ambient assisted living）技术正不断被开发。为缓解基于云的数据处理所引发的隐私担忧，近年来的研究趋势逐渐转向利用边缘设备进行本地化数据处理。然而，尽管边缘设备具有诸多优势，其有限的计算资源仍给实时性能带来显著挑战，而实时性往往是此类应用的核心需求。此外，当前基于计算机视觉的老年人日常生活活动识别方法在捕捉对准确识别至关重要的多尺度时序上下文信息时，面临计算复杂度显著上升的问题。在此背景下，本文提出一种名为HT-ConvNet（分层时序卷积网络）的新模型，能够在不增加计算复杂度的前提下有效捕捉多尺度时序信息。HT-ConvNet通过在连续卷积层中采用指数递增的感受野，实现对时序特征的高效分层提取。同时，该模型引入自适应加权机制，以突出最具判别性的特征。实验结果表明，所提出的多尺度时序特征提取方法与特征加权融合机制，在不增加模型复杂度的情况下，显著提升了识别准确率，优于现有方法。相关代码已公开，可访问：https://github.com/Gbouna/HT-ConvNet。