我们提出了一种名为SkeleTR的新框架，用于基于骨架的动作识别。与以往主要关注受控环境的研究不同，SkeleTR专注于真实场景（in-the-wild）下的动作识别任务，这类场景通常涉及人数不固定以及人与人之间多样化的交互行为。SkeleTR采用两阶段范式：首先，利用图卷积网络对每个骨架序列内部的个体骨架动态进行建模；随后，通过堆叠的Transformer编码器捕捉对真实场景中动作识别至关重要的个体间交互关系。为缓解骨架关联不准确带来的负面影响，SkeleTR采用相对短的骨架序列作为输入，并增加序列数量以提升鲁棒性。作为一种统一的解决方案，SkeleTR可直接应用于多种基于骨架的动作识别任务，包括视频级动作分类、实例级动作检测以及群体级活动识别。此外，该框架支持跨不同动作任务与数据集的迁移学习与联合训练，进一步提升了整体性能。在多个基于骨架的动作识别基准测试中，SkeleTR均取得了当前最优（state-of-the-art）的识别效果。