الشبكات الفائقة
HyperNetworks عبارة عن بنية شبكة عصبية تحتوي على بعض الاختلافات في معلمات النموذج مقارنة بالشبكات العصبية التقليدية. نشرت شركة Google Brain ورقة بحثية في عام 2016 بعنوان "الشبكات الفائقةفي الشبكات الفائقة، تُستخدم شبكة عصبية لتوليد أوزان أو معلمات أخرى لشبكة عصبية أخرى. تُسمى هذه الشبكة المُولّدة "شبكة فائقة"، وتُسمى الشبكة المُولّدة منها "شبكة الهدف".
عادةً، يستقبل HyperNetwork بعض المدخلات الإضافية، مثل مدخلات الشبكة المستهدفة، ثم يقوم بإنشاء معلمات الشبكة المستهدفة. إن الميزة الرئيسية لهذا النهج هي أنه يتيح إنشاء معلمات الشبكة المستهدفة بشكل ديناميكي، مما يسمح للنموذج بالتكيف بشكل أكثر مرونة مع المهام أو البيئات المختلفة.
تتمتع الشبكات الفائقة بإمكانيات تطبيقية محتملة في مجالات مثل التعلم الفوقي والبحث عن الهندسة المعمارية. من خلال استخدام HyperNetworks، يمكن تعديل بنية النموذج أو المعلمات وتحسينها تلقائيًا، وبالتالي تحسين قدرة التعميم وقابلية التكيف للنموذج.
الشبكات الفائقة في الانتشار المستقر
HyperNetworks هي إحدى الشركات التي اعتمدت مبكرًا تقنية Stable Diffusion الذكاء الاصطناعي الجديد تم تطوير تكنولوجيا الضبط الدقيق. إنها شبكة عصبية صغيرة متصلة بنموذج الانتشار المستقر لتعديل أسلوبها.
الشبكات الفائقة هي عادةً عبارة عن شبكة عصبية بسيطة: شبكة خطية متصلة بالكامل مع وظائف الخسارة والتنشيط. تمامًا مثل ما تتعلمه في دورة الشبكات العصبية التمهيدية. يقومون باختطاف وحدة الاهتمام المتقاطع عن طريق إدراج شبكتين لتحويل متجه المفتاح ومتجه الاستعلام. فيما يلي مقارنة بين هندسة النموذج الأصلية وهندسة النموذج المختطفة.
أثناء التدريب، يتم قفل نماذج الانتشار المستقرة، ولكن يُسمح لشبكات HyperNetworks المرفقة بالتغيير. نظرًا لأن الشبكة الفرعية صغيرة، فإن التدريب سريع ويتطلب موارد محدودة. يمكن إجراء التدريب على جهاز كمبيوتر عادي.