باحث سابق من OpenAI يفسر وظائف 90% من العصبونات
في ١٥ أكتوبر، قال نيك كاماراتا، الباحث السابق في أوبن إيه آي والباحث الحالي في جودفاير، إن البنية الداخلية للشبكات العصبية الكبيرة قد تكون أوضح مما كان يعتقد سابقا. ونشر مقالة بعنوان الشبكات العصبية نظيفة بالفعل، استنادا إلى أعماله في القابلية الآلية للتفسير، وهو مجال يحاول فهم كيفية معالجة النماذج للبيانات وكيفية وصولها إلى المخرجات. وقبل ذلك، كانت الأدبيات تشير إلى أن كثيرا من الخلايا العصبية تستجيب في آن واحد لمفاهيم غير مترابطة، وأن النماذج الكبيرة تضطر إلى دمج معلومات متباينة في وحدات محدودة، وهي فرضية التراكب. وبناء على ذلك، استُخدمت أدوات مثل الترميز الذاتي المتفرق لفصل هذه التفعيلات. لكن كاماراتا يرى أن جزءا كبيرا من هذا التعقيد قد يكون ناتجا عن أدوات الملاحظة أو تفسير النتائج، لا عن طبيعة النموذج نفسه. واستعرض فريقه نماذج منها كوين ٣ بحجم ٣٢ مليار معامِلة، وتقديراته أن نحو ٩٠ في المئة من اتجاهات الخلايا العصبية ترتبط بوظيفة مهيمنة واضحة، وأن نحو ٧ في المئة تؤدي وظيفتين مترابطتين، فيما لا يزال ٢ إلى ٤ في المئة بلا تفسير واضح. وقال إن ظواهر مشابهة ظهرت في نماذج بمقياس تريليون معامِلة مثل كيمي ٣. ومن الأمثلة التي يوردها، خلية عصبية في نموذج إنسبشن ١ كانت تُظهِر استجابة لوجه القط وأمام السيارة. وعند مراجعة العينات والروابط، اتضح أن الخلية تستجيب في الغالب لبنية هندسية مدببة ومتفتحة، وليس لمفهوم القط والسيارة بوصفهما كيانين منفصلين. كما تظهر استجابات في أشكال أخرى تشترك في الملامح نفسها، مما يعني أن الخلط قد يكون ناتجا عن تفسير سطحي وليس قاعدة في النموذج. ويختبر كاماراتا أيضاً أثر البنية المعمارية على وضوح الخلايا، مشيرا إلى أن نموذج كونفيكست الحديث أظهر وضوحا أعلى بكثير من نماذج أقدم. ويرى أن الشبكات قد تبني المفاهيم تدريجيا عبر تعميم مستمر، فتوسع دور الخلية في المساحات المحدودة، ثم تتخصص أكثر مع زيادة السعة. وتبرز في العمل تقنية أخرى هي استخدام وكلاء أتمتة مدعومون بالذكاء الاصطناعي لفحص الخلايا، وصياغة فرضيات، ومراجعة الروابط، وإنشاء تجارب جديدة. ويرى أن هذه الطريقة قد تسرّع رسم خريطة داخلية للنماذج. ويقول إن هذه النتائج قد تساعد لاحقا في كشف الأخطاء والانحرافات ومحاولة التدخل في سلوك النماذج، لكنها تظل أولية وغير محكمة، لأن العمل لم يستكمل بعد عبر تقييم الأقران والاستنساخ المستقل، كما أن فهم خلية واحدة لا يعني فهم الآلية الكاملة للنموذج.
