الاهتمام الذاتي هو آلية مفيدة لبناء نماذج توليدية للغة والصور. يحدد هذه الآلية أهمية عناصر السياق من خلال مقارنة كل عنصر بالخطوة الزمنية الحالية. في هذا البحث، نوضح أن التحويل الإدراكي (convolution) الخفيف للغاية يمكنه الأداء بشكل تنافسي مع أفضل النتائج المبلغ عنها للاهتمام الذاتي. بعد ذلك، نقدم التحويلات الإدراكية الديناميكية التي هي أبسط وأكثر كفاءة من الاهتمام الذاتي. نتنبأ بمصفوفات تحويل إدراكي منفصلة تعتمد فقط على الخطوة الزمنية الحالية لتحديد أهمية عناصر السياق. يتزايد عدد العمليات المطلوبة لهذا النهج بشكل خطي مع طول المدخل، بينما يكون الاهتمام الذاتي تربيعيًا. أظهرت التجارب على الترجمة الآلية بحجم كبير، ونمذجة اللغة، والملخص التحليلي أن التحويلات الإدراكية الديناميكية تحسن الأداء فوق النماذج القوية للاهتمام الذاتي. على مجموعة اختبار WMT'14 الإنجليزية-الألمانية، حققت التحويلات الإدراكية الديناميكية مستوى جديدًا غير مسبوق بلغ 29.7 BLEU.