الحساب الوظيفي في الفضاء المماس: تحسين تعديل النماذج المدربة مسبقًا

أصبحت الحسابات المهامية (Task Arithmetic) مؤخرًا منهجية فعّالة من حيث التكلفة وقابلة للتوسع لتعديل النماذج المدربة مسبقًا مباشرة في فضاء الأوزان: من خلال جمع الأوزان المُعدّلة حسب المهام المختلفة، يمكن تحسين أداء النموذج في هذه المهام، بينما يؤدي طرحها إلى نسيان المهام. ومع ذلك، ما زال فهمنا لفعالية الحسابات المهامية ومبادئها الأساسية محدودًا. نقدم دراسة شاملة للحسابات المهامية في النماذج البصرية-اللغوية، ونُظهر أن فصل الأوزان (Weight Disentanglement) هو العامل الحاسم الذي يجعل هذه الطريقة فعّالة. ينشأ هذا الخاصية أثناء التدريب المسبق، ويتجلى عندما تُسيطَر اتجاهات مميزة في فضاء الأوزان على مناطق منفصلة ومحدودة في فضاء الوظائف المرتبطة بالمهمات. وبشكل مميز، نُظهر أن تدريب النماذج في فضاء مماسها من خلال تبسيطها خطيًا يُعزز من فصل الأوزان. هذا يؤدي إلى تحسينات كبيرة في الأداء عبر مجموعة متنوعة من معايير الحسابات المهامية، وفي نماذج مختلفة. واستنادًا إلى هذه النتائج، نُقدّم تحليلين نظريين وتجريبيين لـ "نواة المماس العصبي" (Neural Tangent Kernel - NTK) لهذه النماذج، ونُرسّخ علاقة مقنعة بين الحسابات المهامية وتحديد المكانية (Spatial Localization) لدوال القيم الذاتية لـ NTK. بشكل عام، تكشف أبحاثنا عن رؤى جديدة حول الآليات الأساسية للحسابات المهامية، وتوفر منهجية أكثر موثوقية وفعالية لتعديل النماذج المدربة مسبقًا من خلال تبسيط NTK خطيًا.