فليكس أتنتيشن
FlexAttention عبارة عن واجهة برمجة تطبيقات جديدة تم نشرها بواسطة فريق PyTorch في يوليو 2024 والتي توفر واجهة مرنة تسمح بتنفيذ العديد من متغيرات الاهتمام في بضعة أسطر من كود PyTorch النموذجي واستخدامها torch.compile
يتم تقليص ذلك إلى نواة FlashAttention المدمجة، مما يوفر المرونة دون التضحية بالأداء. نتائج الورقة ذات الصلة هيFlexAttention لنماذج الرؤية واللغة عالية الدقة والفعالة"، تم قبولها من قبل ECCV 2024.
FlexAttention عبارة عن آلية انتباه مرنة مصممة لتحسين كفاءة نماذج الرؤية واللغة عالية الدقة. تقلل الآلية المقترحة بشكل كبير من التكلفة الحسابية عن طريق تشفير كل من تسميات الصور عالية الدقة ومنخفضة الدقة وحساب خريطة الانتباه باستخدام تسميات الدقة المنخفضة فقط وعدد قليل من تسميات الدقة العالية المحددة. يتم إجراء اختيار المعالم عالية الدقة بواسطة وحدة اختيار عالية الدقة، والتي يمكنها استرداد المعالم الخاصة بالمناطق ذات الصلة استنادًا إلى خريطة الاهتمام المدخلة. يتم بعد ذلك إدخال الرموز عالية الدقة المحددة في طبقة الاهتمام الذاتي الهرمية مع الرموز منخفضة الدقة ورموز النص، ويتم استخدام خريطة الاهتمام التي تم إنشاؤها بواسطة هذه الطبقة لاختيار الرموز عالية الدقة في الخطوة التالية. يتم تكرار هذه العملية في كل طبقة انتباه. تظهر التجارب أن FlexAttention يتفوق على نماذج اللغة البصرية عالية الدقة الموجودة على معايير متعددة الوسائط مع تقليل التكلفة الحسابية بشكل كبير بنحو 40%.