HyperAIHyperAI

Command Palette

Search for a command to run...

الحساب الوظيفي في الفضاء المماس: تحسين تعديل النماذج المدربة مسبقًا

Guillermo Ortiz-Jimenez Alessandro Favero Pascal Frossard

الملخص

أصبحت الحسابات المهامية (Task Arithmetic) مؤخرًا منهجية فعّالة من حيث التكلفة وقابلة للتوسع لتعديل النماذج المدربة مسبقًا مباشرة في فضاء الأوزان: من خلال جمع الأوزان المُعدّلة حسب المهام المختلفة، يمكن تحسين أداء النموذج في هذه المهام، بينما يؤدي طرحها إلى نسيان المهام. ومع ذلك، ما زال فهمنا لفعالية الحسابات المهامية ومبادئها الأساسية محدودًا. نقدم دراسة شاملة للحسابات المهامية في النماذج البصرية-اللغوية، ونُظهر أن فصل الأوزان (Weight Disentanglement) هو العامل الحاسم الذي يجعل هذه الطريقة فعّالة. ينشأ هذا الخاصية أثناء التدريب المسبق، ويتجلى عندما تُسيطَر اتجاهات مميزة في فضاء الأوزان على مناطق منفصلة ومحدودة في فضاء الوظائف المرتبطة بالمهمات. وبشكل مميز، نُظهر أن تدريب النماذج في فضاء مماسها من خلال تبسيطها خطيًا يُعزز من فصل الأوزان. هذا يؤدي إلى تحسينات كبيرة في الأداء عبر مجموعة متنوعة من معايير الحسابات المهامية، وفي نماذج مختلفة. واستنادًا إلى هذه النتائج، نُقدّم تحليلين نظريين وتجريبيين لـ "نواة المماس العصبي" (Neural Tangent Kernel - NTK) لهذه النماذج، ونُرسّخ علاقة مقنعة بين الحسابات المهامية وتحديد المكانية (Spatial Localization) لدوال القيم الذاتية لـ NTK. بشكل عام، تكشف أبحاثنا عن رؤى جديدة حول الآليات الأساسية للحسابات المهامية، وتوفر منهجية أكثر موثوقية وفعالية لتعديل النماذج المدربة مسبقًا من خلال تبسيط NTK خطيًا.


بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — سرّع تطوير الذكاء الاصطناعي الخاص بك مع المساعدة البرمجية المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة التعاونية باستخدام الذكاء الاصطناعي
وحدات GPU جاهزة للعمل
أفضل الأسعار

HyperAI Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp