شبكات توليدية متضاربة فعّالة تستخدم محولات الانتباه الجمعية الخطية

على الرغم من التحسن الكبير في القدرة على توليد الصور التي حققتها النماذج التوليدية العميقة، مثل نماذج التشتت (DMs) وشبكات التوليد التنافسية (GANs)، في السنوات الأخيرة، فإن جزء كبير من نجاحها يعود إلى الهياكل الحسابية المكلفة للغاية. وقد حدّ هذا من انتشار استخدامها واعتمادها، وظل مقتصرًا على المختبرات البحثية والشركات التي تمتلك موارد كبيرة، بينما أدى إلى ارتفاع كبير في البصمة الكربونية الناتجة عن التدريب والضبط الدقيق والاستنتاج. في هذا العمل، نقدم معمارية GAN جديدة تُسمى LadaGAN، والتي تعتمد على وحدة انتباه خطية تُسمى Ladaformer. يُعد المكون الرئيسي لهذه الوحدة آلية انتباه جمعي خطيّة تُحسب متجه انتباه واحد لكل رأس، بدلًا من انتباه الجداء الرباعي التقليدي. وقد استخدمنا Ladaformer في كل من المولّد (Generator) والمنافس (Discriminator)، مما يقلل من التعقيد الحسابي ويتجاوز مشاكل عدم الاستقرار في التدريب التي تُعدّ شائعة في نماذج GAN القائمة على التحويلات (Transformers). تتفوّق LadaGAN بشكل مستمر على النماذج القائمة على التحويلات والشبكات التلافيفية (Convolutional) في مجموعات البيانات المعيارية عند مختلف الدقة، مع كونها أكثر كفاءة بشكل ملحوظ. علاوةً على ذلك، تُظهر LadaGAN أداءً تنافسيًا مقارنةً بأفضل النماذج التوليدية متعددة المراحل (مثل DMs)، باستخدام موارد حسابية أقل بعشرات أو مئات المرات.