دورة تعليمية عبر الإنترنت: SpikingBrain-1.0: تسريع مئة ضعف: تحقيق تحسينات هائلة في كفاءة الاستدلال
لا ينفصل التطور السريع للذكاء الاصطناعي إلى حد كبير عن البنية الأساسية: المحول. منذ طرحه عام ٢٠١٧، أصبح المحول، بفضل قدراته الحاسوبية المتوازية ونتائجه النمذجة القوية، المعيار السائد لبنى النماذج واسعة النطاق. سواءً كانت سلسلة GPT أو LLaMA أو سلسلة Qwen المحلية، فإن جميعها مبنية على أساس المحول.
ومع ذلك، مع استمرار توسع حجم النموذج، يكشف Transformer تدريجيًا عن بعض المشكلات التي يصعب تجاهلها.على سبيل المثال، تزداد تكلفة التدريب بشكل تربيعي مع طول التسلسل، ويزداد استخدام الذاكرة أثناء الاستدلال بشكل خطي مع طول التسلسل، مما يؤدي إلى استهلاك الموارد والحد من قدرتها على معالجة التسلسلات الطويلة للغاية.
على النقيض تمامًا، يتبنى الدماغ البيولوجي نهجًا مختلفًا تمامًا فيما يتعلق بكفاءة الطاقة ومرونتها. يستهلك الدماغ البشري حوالي 20 واط فقط من الطاقة، ومع ذلك فهو قادر على التعامل مع مجموعة واسعة من المهام، بما في ذلك الإدراك والذاكرة واللغة والتفكير المعقد. دفع هذا التباين الباحثين إلى التساؤل: إذا صُممت وحُسبت نماذج كبيرة على غرار الدماغ، فهل ستتمكن من التغلب على الاختناقات التي يُمثلها المحول؟
وبناء على هذا الاستكشاف،بالتعاون مع المختبر الوطني الرئيسي للإدراك الدماغي والذكاء المُستوحى من الدماغ ومؤسسات أخرى، استفاد معهد الأتمتة التابع للأكاديمية الصينية للعلوم من آليات العمل المعقدة لخلايا الدماغ العصبية، واقترح نموذجًا واسع النطاق "يعتمد على التعقيد الداخلي". في سبتمبر من هذا العام، أصدروا نموذجًا واسع النطاق مستوحى من الدماغ، مُنتجًا محليًا، وقابلًا للتحكم بشكل مستقل، وهو "SpikingBrain-1.0".يُثبت هذا النموذج نظريًا وجود صلة بين الديناميكيات الجوهرية للخلايا العصبية المحفزة ونماذج الانتباه الخطي، كاشفًا أن آليات الانتباه الخطي الحالية تُمثل تبسيطًا متخصصًا للحوسبة الشجيرية، ومُقدمًا مسارًا جديدًا وفعالًا لتحسين تعقيد النموذج وأدائه باستمرار. علاوةً على ذلك، قام فريق البحث والتطوير ببناء نموذج أساسي جديد مستوحى من الدماغ، قائم على الخلايا العصبية المحفزة، بتعقيد خطي وخطي مختلط، وجعله مفتوح المصدر. كما طوروا إطارًا فعالًا للتدريب والاستدلال لمجموعات وحدات معالجة الرسومات المحلية، ومكتبة مشغلات تريتون، واستراتيجيات موازاة النماذج، وبدائيات اتصال المجموعات.
من خلال التحقق التجريبي،حقق SpikingBrain-1.0 اختراقات في أربعة جوانب للأداء: تحقيق تدريب فعال مع أحجام بيانات منخفضة للغاية، وتحقيق تحسن كبير في كفاءة الاستدلال، وبناء نظام بيئي واسع النطاق يشبه الدماغ يتم إنتاجه محليًا، وهو مستقل وقابل للتحكم، واقتراح آلية ندرة متعددة المقاييس تعتمد على النبض الديناميكي للعتبة.حقق نموذج SpikingBrain-7B تسريعًا قدره 100 ضعف في زمن الوصول إلى الرمز الأول (TTF) لسلسلة مكونة من 4 ملايين رمز. استمر تدريب نموذج SpikingBrain-7B بثبات لأسابيع على مئات من وحدات معالجة الرسومات MetaX C550، محققًا معدل استخدام FLOP قدره 23.41 TP3T.يحقق مخطط النبضة المقترح ندرة قدرها 69.15%، مما يتيح التشغيل منخفض الطاقة.
ومن الجدير بالذكر أنهذه هي المرة الأولى التي تقترح فيها بلدي بنية نموذجية أساسية خطية واسعة النطاق تشبه الدماغ، وهي المرة الأولى التي يتم فيها بناء إطار عمل للتدريب والاستدلال لنموذج نبضة كبير يشبه الدماغ على مجموعة حوسبة GPU محلية.تتمتع قدرتها على معالجة التسلسلات الطويلة للغاية بمزايا كفاءة محتملة كبيرة في سيناريوهات نمذجة مهام التسلسلات الطويلة للغاية مثل تحليل الوثائق القانونية والطبية، ومحاكاة متعددة العوامل المعقدة، وتجارب فيزياء الجسيمات عالية الطاقة، وتحليل تسلسل الحمض النووي، ومسارات الديناميكيات الجزيئية.
حاليًا، يتوفر "SpikingBrain-1.0: نموذج Spiking شبيه بالدماغ قائم على التعقيد الجوهري" على الموقع الرسمي لشركة HyperAI في قسم "البرنامج التعليمي". انقر على الرابط أدناه لتجربة البرنامج التعليمي للنشر بنقرة واحدة ⬇️
رابط البرنامج التعليمي:
تشغيل تجريبي
1. بعد زيارة الصفحة الرئيسية لـ hyper.ai، حدد صفحة "البرامج التعليمية"، ثم اختر "SpikingBrain-1.0: نموذج Spiking كبير يشبه الدماغ قائم على التعقيد الجوهري"، ثم انقر فوق "تشغيل هذا البرنامج التعليمي عبر الإنترنت".
2. بعد الانتقال إلى الصفحة التالية، انقر فوق "استنساخ" في الزاوية اليمنى العليا لاستنساخ البرنامج التعليمي في الحاوية الخاصة بك.
٣. اختر بطاقة الرسومات NVIDIA RTX A6000 سعة 48 جيجابايت وبطاقة PyTorch، ثم انقر على "متابعة". توفر منصة OpenBayes أربعة خيارات للدفع: الدفع حسب الاستخدام أو باقات يومية/أسبوعية/شهرية. يمكن للمستخدمين الجدد التسجيل باستخدام رابط الدعوة أدناه للحصول على 4 ساعات مجانية من بطاقة RTX 4090 و5 ساعات مجانية من استخدام المعالج!
رابط دعوة حصرية لـ HyperAI (انسخ وافتح في المتصفح):
https://openbayes.com/console/signup?r=Ada0322_NR0n
٤. انتظر حتى يتم تخصيص الموارد. تستغرق عملية الاستنساخ الأولى حوالي ٣ دقائق. عندما تتغير الحالة إلى "قيد التشغيل"، انقر على السهم بجوار "عنوان واجهة برمجة التطبيقات" للانتقال إلى صفحة العرض التوضيحي. يُرجى العلم أنه يجب على المستخدمين إكمال مصادقة الاسم الحقيقي قبل استخدام عنوان واجهة برمجة التطبيقات.
5. أدخل السؤال في مربع الحوار لبدء الإجابة.
عرض التأثير
طرحتُ السؤال "أرِني مُقتطفًا من شيفرة رأسية لموقع ويب مُثبّتة بلغة CSS وجافا سكريبت" كمثال. والنتيجة موضحة في الشكل أدناه:
ما سبق هو البرنامج التعليمي الذي توصي به HyperAI هذه المرة. الجميع مدعوون للحضور وتجربته!
رابط البرنامج التعليمي: