في هذه الدراسة، ندمج التحويل الثلاثي الأبعاد مع النمذجة الزمنية المتأخرة للتعرف على الحركات. ولتحقيق هذا الهدف، نستبدل الطبقة التقليدية المعروفة بـ "متوسط التجميع الزمني العالمي" (TGAP) الواقعة في نهاية البنية التحتية للتحويل الثلاثي الأبعاد بطبقة مُمثلة بالاعتماد على نموذج BERT (تمثيلات التشفير الثنائية من نماذج المحولات)، بهدف الاستفادة بشكل أفضل من المعلومات الزمنية من خلال آلية الانتباه المتوفرة في BERT. ونُظهر أن هذا الاستبدال يُحسّن أداء العديد من الهياكل الشائعة للتحويل الثلاثي الأبعاد في مهام التعرف على الحركات، بما في ذلك ResNeXt، وI3D، وSlowFast، وR(2+1)D. علاوةً على ذلك، نقدّم نتائج من أفضل النتائج المُحققة في الوقت الراهن على كلا مجموعتي البيانات HMDB51 وUCF101، حيث بلغت دقة التصنيف الأولى (Top-1) 85.10% و98.69% على التوالي. وتم إتاحة الكود المصدر بشكل عام للجمهور.