Adrian Kosowski Przemysław Uznański Jan Chorowski Zuzanna Stamirowska Michał Bartoszkiewicz

الملخص

العلاقة بين أنظمة الحوسبة والدماغ كانت دافعاً لنظرية مُبتكرين منذ عهد جون فون نيومان وألان تورينغ. تمتلك الشبكات الحيوية الموحدة والخالية من المقياس، مثل الدماغ، خصائص قوية، منها القدرة على التعميم مع مرور الزمن، وهي العقبة الرئيسية التي تواجه تعلم الآلة في طريقه نحو نماذج الاستدلال الشامل.نُقدِّم "فرخ التنين" (BDH)، وهي بنية جديدة لنموذج لغة كبير تعتمد على شبكة حيوية مُستوحاة من المقياس الحر، مكوّنة من جسيمات عصبية تتفاعل محلياً. يجمع BDH بين أسس نظرية قوية وقابلية تفسير فطرية دون التضحية بأداء يشبه نماذج الترانسفورمر.يُعد BDH معمولاً مُحدثاً في مجال التعلم التسلسلي القائم على مساحة الحالة، ويتمتع بأداء عالي وفعالية عملية. إلى جانب كونه نموذجاً رسومياً، يتيح BDH صيغة متوافقة مع وحدات معالجة الرسومات (GPU). ويُظهر قوانين التوسع المشابهة لتلك الخاصة بـ Transformers: ففي التجارب العملية، يُنافس أداء BDH نموذج GPT2 في مهام اللغة والترجمة، عند نفس عدد المعلمات (من 10 ملايين إلى مليار)، وبنفس بيانات التدريب.يمكن تمثيل BDH كنموذج دماغي. تعتمد الذاكرة العاملة لـ BDH أثناء الاستدلال بالكامل على المرونة التشابكية مع تعلم هيبيان باستخدام عصبونات نبضية. وقد تأكدنا تجريبياً أن تشابكًا معينًا وفَرديًا يُعزز من اتصاله كلما سمع BDH أو استدل على مفهوم معين أثناء معالجة إدخالات لغوية. أما شبكة تفاعل العصبونات في BDH فهي رسم بياني يتميز بدرجة عالية من التجميعية (النمطية) وتوزيع درجة ذو ذيل ثقيل. ويُعد نموذج BDH واقعياً من الناحية البيولوجية، ويُفسر آلية ممكنة يستخدمها العصبونات البشرية لتحقيق الكلام.صمم BDH لضمان قابلية التفسير. تتميز متجهات التنشيط في BDH بالكثافة المنخفضة والقيم الموجبة. وقد أظهرنا ظاهرة الأحادية الدلالة (monosemanticity) في BDH في مهام اللغة. كما أن قابلية تفسير الحالة – وهي تتجاوز قابلية تفسير العصبونات أو المعاملات النموذجية – تمثل سمة فطرية في بنية BDH.