لف نفسك؟ إنفيديا تطلق نموذجًا كبيرًا من ChipNeMo، مخصصًا لتصميم الشريحة

أطلقت شركة Nvidia نموذجًا لغويًا كبيرًا مخصصًا، ChipNeMo، تم تدريبه بناءً على بياناتها الداخلية لمساعدة المهندسين في إكمال المهام المتعلقة بتصميم الشريحة.

هنا، حضر هوانغ رينكسون الاجتماع السنوي مرتديًا سترة مزهرة ويحمل منديلًا. هناك،سام ألتمان  يتم جمع مليارات الدولارات لبناء شركات جديدة متخصصة في شرائح الذكاء الاصطناعي.

إن التناقض بين الرضا عن الذات والطموح هو التصوير الحقيقي لمجال شرائح الذكاء الاصطناعي الحالي. في عصر أصبحت فيه قوة الحوسبة هي الأهم، تعمل شركة Nvidia على خنق الجميع تقريبًا. ولذلك، ظهرت المزيد والمزيد من الشركات الناشئة المتخصصة في شرائح الذكاء الاصطناعي مثل الفطر بعد المطر، بل إن بعضها يدعي القدرة على التنافس مع شركة إنفيديا واستبدالها. وفي الوقت نفسه، بدأت الشركات الكبرى مثل مايكروسوفت وجوجل أيضًا في تطوير شرائحها الخاصة بشكل أكثر جدية.

في الواقع، منذ ظهور العصر الذكي، أصبحت الرقائق بمثابة "كعب أخيل" لعدد من عمالقة التكنولوجيا، كما أن العتبة العالية لصناعة أشباه الموصلات تجعل من الصعب التغلب على هذا الحصار التكنولوجي بسهولة. بالإضافة إلى عملية الإنتاج التي "شرحتها" هواوي بالفعل، فإن تصميم أشباه الموصلات يشكل أيضًا تحديًا كبيرًا. وخاصة عندما تقترب الرقائق الإلكترونية من حدود قانون مور وتستمر متطلبات قوة الحوسبة في الارتفاع، فإن كيفية تحقيق أداء أعلى في العمليات المتقدمة أصبحت تحديًا مهمًا في تصميم رقائق الذكاء الاصطناعي.

كما هو موضح في الشكل أعلاه، تحت المجهر، تبدو شريحة متقدمة مثل وحدة معالجة الرسوميات NVIDIA H100 Tensor Core وكأنها مدينة مخططة بعناية، تتكون من عشرات المليارات من الترانزستورات، متصلة بـ "شوارع" أرق 10000 مرة من شعرة الإنسان. يتطلب بناء المدينة بأكملها التعاون بين فرق هندسية متعددة على مدى عامين لإكمالها.

ومن بينها، تقوم الإدارات المختلفة بتقسيم العمل والتعاون مع بعضها البعض. يقوم البعض بتحديد البنية العامة للشريحة، ويكون البعض الآخر مسؤولاً عن تصميم وتخطيط الدوائر الصغيرة جدًا المختلفة، ويكون البعض الآخر مسؤولاً عن الاختبار. تتطلب كل مهمة أساليب متخصصة وبرامج ولغات كمبيوتر، مما يدل على مدى تعقيدها. وهذا هو بالضبط الخندق التكنولوجي لمصنعي الرقائق.

المثير للاهتمام هو أن شركة Nvidia، التي كانت تفرغ محافظ الشركات المصنعة الكبرى بشرائح الذكاء الاصطناعي الأقوى لديها، بدأت أيضًا في التفكير في استخدام الذكاء الاصطناعي لكسب المال "بسهولة". منذ وقت ليس ببعيد،أصدرت NVIDIA نموذج لغة مخصص كبير الحجم، ChipNeMo، والذي تم تدريبه بناءً على بياناته الداخلية الخاصة.ويمكنه مساعدة المهندسين في إكمال المهام المتعلقة بتصميم الشريحة وهو مخصص حاليًا للاستخدام الداخلي فقط.

تم تضمين هذه النتيجة في arXiv، عنوان الورقة:
https://arxiv.org/abs/2311.00176
قم بمتابعة الحساب الرسمي ورد "ChipNeMo" لتحميل الورقة

تخصيص برنامج الماجستير في القانون لتصميم الشريحة استنادًا إلى تقنية تكييف المجال

لم يختر باحثو NVIDIA نشر نماذج LLM الحالية بشكل مباشر، بل قاموا بدلاً من ذلك بتخصيص النماذج الأساسية (LLaMA2 مع 7 مليار معلمة، و13 مليار معلمة، و70 مليار معلمة) باستخدام NVIDIA NeMo استنادًا إلى تقنية التكيف مع المجال.
ملاحظة: NVIDIA NeMo هو إطار عمل سحابي متكامل يسمح بالبناء المرن والتخصيص والنشر لنماذج الذكاء الاصطناعي التوليدية، بما في ذلك أطر التدريب والاستدلال، ومجموعات أدوات الحماية، وأدوات إدارة البيانات، والنماذج المدربة مسبقًا.

تستخدم ChipNeMo مجموعة متنوعة من تقنيات تكييف المجال لتكييف LLMs مع مجال تصميم الشريحة، بما في ذلك:
* مُجزئات مخصصة لبيانات تصميم الشريحة * تدريب مسبق مستمر متكيف مع المجال باستخدام كميات كبيرة من بيانات المجال * ضبط دقيق مُشرف عليه باستخدام تعليمات خاصة بالمجال * استخدام نماذج استرجاع مُضبوطة بدقة * توليد معزز بالاسترجاع (RAG)

أجرى الباحثون تقييمات ميدانية على ChipNeMo باستخدام ثلاثة تطبيقات محددة: روبوت الدردشة المساعد الهندسي، وتوليد نصوص EDA، وتلخيص الأخطاء وتحليلها.

ومن بينها، يمكن لمجزئات الكلمات الخاصة بالمجال تحسين كفاءة تقسيم المصطلحات المحددة من خلال تخصيص القواعد. قام الباحثون بتكييف برنامج ChipNeMo المدرب مسبقًا مع مجموعة بيانات تصميم الشريحة الخاصة بالدراسة، وإضافة علامات جديدة فقط للمصطلحات الخاصة بالمجال.

أثناء التدريب المسبق التكيفي للمجال (DAPT)، قام الباحثون بدمج بيانات تصميم الشريحة الداخلية لشركة NVIDIA مع مجموعات البيانات العامة، وجمعها وتنظيفها وتصفيتها.يحتوي مجموعة تدريب البيانات الداخلية على إجمالي 23.1 مليار رمز.يغطي التصميم والتحقق والبنية الأساسية والوثائق الداخلية ذات الصلة.

عند إجراء ضبط دقيق خاضع للإشراف باستخدام تعليمات خاصة بالمجال (إس إف تياستخدم الباحثون مجموعة بيانات أوامر الدردشة العامة لإجراء جولات متعددة من الدردشات، ودمجوها مع كمية صغيرة من مجموعات بيانات الأوامر الخاصة بالنطاق لأداء SFT على نموذج ChipNeMo الأساسي لتوليد نموذج دردشة ChipNeMo.

بالإضافة إلى ذلك، استخدم الباحثون تيفاترون  يقوم الإطار بإنشاء 3000 عينة تم إنشاؤها تلقائيًا ومحددة للمجال ويقوم بضبط نموذج e5 الصغير غير الخاضع للإشراف لإنشاء نموذج استرجاع متكيف مع المجال لهذه الدراسة.

من أجل حل مشكلة "الهلوسة" الشائعة في ChatBot،استخدم الباحثون تقنية التوليد المعزز بالاسترجاع (RAG) لتحسين جودة الإجابات على الأسئلة الخاصة بمجال محدد.

على وجه التحديد، يقوم RAG باسترجاع المقاطع ذات الصلة من قاعدة البيانات ويقوم بتضمينها في المطالبة مع السؤال، وبالتالي تمكين LLM من إنشاء إجابات أكثر دقة تعتمد على الحقائق بشكل أكبر. وفي الوقت نفسه، وجد الباحثون أن دقة الاسترجاع يمكن تحسينها بشكل كبير عن طريق ضبط نموذج الاسترجاع الكثيف المدرب مسبقًا وغير الخاضع للإشراف باستخدام كمية مناسبة من بيانات التدريب الخاصة بالمجال.

علاوة على ذلك، بالإضافة إلى جعل نماذج اللغة الكبيرة أكثر قدرة على التكيف مع مجال تصميم الشريحة، يمكن لتقنية تكييف المجال أيضًا تقليل معلمات النموذج بما يصل إلى 5 مرات، وبالتالي تقليل تكاليف الاستدلال.

ومن الجدير بالذكر أنتم تدريب جميع النماذج باستخدام 128 وحدة معالجة رسومية A100.قام الباحثون بتقدير تكلفة التدريب المسبق التكيفي للمجال لـ ChipNeMo كما هو موضح في الجدول أدناه. ومن بينها، تمثل DAPT أقل من 1.5% من التكلفة الإجمالية للتدريب المسبق للنموذج الأساسي من الصفر.

نموذج مخصص يحتوي على 13 مليار معلمة يتفوق على LLaMA2

قام الباحثون بمراقبة وتقييم الأداء الفعلي لـ ChipNeMo في ثلاثة تطبيقات لتصميم الشريحة: Engineering Assistant Chatbot، وEDA Script Generation، وBulling and Analysis (تلخيص الأخطاء وتحليلها).

أولاً،يمكن أن يساعد روبوت المحادثة المساعد الهندسي مهندسي تصميم الشرائح في الإجابة على الأسئلة المتعلقة بالهندسة المعمارية والتصميم والتحقق وما إلى ذلك، مما يمنعهم من كتابة التعليمات البرمجية بناءً على افتراضات غير صحيحة أو تصحيح أخطاء التعليمات البرمجية غير المألوفة، وبالتالي تحسين الإنتاجية. بالإضافة إلى ذلك، يمكن لـ Chatbot أيضًا استخراج المعرفة ذات الصلة من مستندات التصميم الداخلية، والرموز، والبيانات المسجلة الأخرى حول التصميم، وآثار الاتصالات الفنية (رسائل البريد الإلكتروني، والمراسلة الفورية للشركة، وما إلى ذلك) لمساعدة المهندسين على تحسين كفاءة عملهم.

ثانيًا،يعد برمجة EDA جزءًا مهمًا من عملية تصميم الشريحة الصناعية. في الماضي، كان المهندسون بحاجة إلى تعلم مكتبات النصوص الداخلية، واستشارة وثائق الأدوات، وتصحيح أخطاء النصوص، وهو ما كان يستغرق الكثير من الوقت. لذلك، قام الباحثون بإنشاء نوعين مختلفين من البرامج النصية استنادًا إلى Tool1 (Python) و Tool2 (TCL) من وصف المهمة باللغة الطبيعية. يمكن للمهندسين الاستعلام عن النموذج وتشغيل الكود الناتج في نفس الواجهة، مع رؤية عدد التصحيحات الإضافية المطلوبة للحصول على نص برمجي قابل للتشغيل.

ثالث،لتلخيص الأخطاء وتحليلها، استخدم الباحثون قاعدة بيانات الأخطاء الداخلية NVBugs الخاصة بشركة NVIDIA، كما قاموا أيضًا ببناء مجموعة بيانات SFT خاصة بالمجال.

أجرى الباحثون تقييمًا مقارنًا لأداء ChipNeMo استنادًا إلى معرفة تصميم الشريحة، ونصوص EDA، وتحليل الأخطاء، وتصميم الدوائر، وMMLU (فهم متعدد اللغات المتوسط).

وتظهر النتائج أنيتحسن أداء ChipNeMo مع حجم معلمات النموذج الأساسي، ويوفر التدريب المسبق المتكيف مع المجال الخاص بـ ChipNeMo تحسينات كبيرة في الأداء مقارنة بالنموذج الأساسي. في الوقت نفسه، يتفوق نموذج ChipNeMo الأمثل على GPT-3.5 في جميع المعايير ويتفوق على GPT-4 في معايير معرفة التصميم والأخطاء.

بالإضافة إلى ذلك، في مهمة تصميم الشريحة،يتوافق نموذج ChipNeMo المخصص الذي يحتوي على 13 مليار معلمة فقط مع أداء نماذج اللغة الكبيرة متعددة الأغراض الأكبر حجمًا (مثل LLaMA2، الذي يحتوي على 70 مليار معلمة) أو يتجاوزه.

إن تصميم الرقائق ذات النماذج الكبيرة ليس بالأمر الجديد

حاليًا، يُعد ChipNeMo مخصصًا للاستخدام الداخلي فقط، ولأنه يستخدم بيانات Nvidia الداخلية للتدريب، فمن غير المرجح أن يكون مفتوح المصدر في المستقبل. ومع ذلك، وباعتبارها شركة عملاقة في مجال بطاقات الرسوميات، فإن تحرك شركة Nvidia لتحسين سير العمل بمساعدة نماذج اللغة الكبيرة لا يزال ملهمًا للغاية بالنسبة للصناعة.

من ناحية،إن الصعوبة العالية في تصميم الشريحة لا تنعكس فقط في الحواجز التقنية، بل أيضًا في الخبرة والتكلفة. كل خطوة من التصميم إلى التنفيذ ثم إلى الإنتاج قد تصبح "نقطة تجاوز" في المنافسة الصناعية. إن إضافة نماذج كبيرة تسمح لبعض الشركات الناشئة التي بدأت متأخرة وليس لديها خبرة كافية "بالتعلم من نقاط قوة الآخرين" في فترة زمنية أقصر، ويمكن حتى اعتبارها بمثابة توظيف مباشر لمهندس ذي خبرة. ومع ذلك، يتطلب هذا مزيدًا من البيانات مفتوحة المصدر ودعم النماذج.

على الجانب الآخر،في حين تستمر النماذج الكبيرة في إذهال العالم في شكل برامج المحادثة الآلية، فإن العديد من الشركات ترغب في تطوير نماذج لغوية كبيرة تعتمد على نماذج مفتوحة المصدر تتوافق بشكل أكبر مع خصائص صناعتها وسمات أعمالها. لكن أغلبهم تراجعوا بسبب صعوبة حل مشكلة تكاليف التدريب المرتفعة. وفي الوقت نفسه، يتعين عليهم أيضًا مراعاة أمان بيانات التدريب. وهذا ما أكدته أيضًا شركة NVIDIA. لا تتوفر وحدات معالجة الرسوميات A100 الـ 128 المستخدمة في تدريب ChipNeMo بسهولة لجميع الشركات.

ومن الجدير بالذكر أن ChipNeMo ليست المرة الأولى التي يتم فيها استخدام نماذج كبيرة في مجال الرقائق.

اعتبارًا من مايو 2023،نجح باحثون في كلية تاندون للهندسة بجامعة نيويورك، لأول مرة، في استخدام الذكاء الاصطناعي لتصميم شريحة معالج دقيق من خلال "التحدث" إلى الذكاء الاصطناعي.

رابط الورقة:
https://arxiv.org/abs/2305.13243
قم بمتابعة الحساب الرسمي ورد على "Chip-Chat" لتحميل الورقة

وقال هاموند بيرس، أستاذ في جامعة نيويورك، في مقابلة: "أنا لست خبيراً في تصميم الشرائح على الإطلاق". هذه أول شريحة أصممها على الإطلاق. أعتقد أن هذا أحد أسباب إبهارها.

وعلى وجه التحديد، نجح الباحثون في استخدام GPT-4 لتصميم معالج تراكمي 8 بت من خلال 124 محادثة، والذي تم تصنيعه عبر مكوك Skywater 130nm.

في اليوم التالي لنشر البحث،نشر معهد تكنولوجيا الحوسبة التابع للأكاديمية الصينية للعلوم برنامج ChipGPT على arXiv.وقد عادت المناقشة إلى الواجهة مرة أخرى. وقال الباحثون إن ChipGPT هي محاولة لاستكشاف جدوى إنشاء تصميمات منطقية تلقائيًا باستخدام مواصفات شريحة اللغة الطبيعية والاستفادة من برامج الماجستير في علوم الحاسب الحالية لتقليل تكلفة تصميم الواجهة الأمامية للأجهزة، والذي يتطلب تقليديًا درجة عالية من الخبرة والعمل اليدوي.

عنوان الورقة:
https://arxiv.org/abs/2305.14019

وتظهر نتائج البحث أنبالمقارنة مع طرق Agile التقليدية، يمكن لـChipChat تقليل كمية التعليمات البرمجية بمقدار 5.32 إلى 9.25 مرة. في وضع المنطقة المُحسَّن، يمكن أن يصل تقليل مساحة ChipGPT إلى 47%، وهو أكثر من نموذج ChatGPT الأصلي.

علاوة على ذلك، فإن تحسين تصميم الشريحة المستند إلى الذكاء الاصطناعي ليس مفهوماً جديداً. بالإضافة إلى NVIDIA، وضعت شركات كبرى مثل Google خططًا أيضًا. في عام 2021، نشر فريق Google ورقة بحثية بعنوان "منهجية وضع الرسم البياني لتصميم الشريحة السريعة"، حيث قدموا حلاً للتعلم التعزيزي العميق لتخطيط تخطيط الشريحة. كما أصدرت NVIDIA أيضًا PrefixRL، وهي طريقة تصميم الدوائر تعتمد على التعلم التعزيزي العميق في عام 2022.

ومع ذلك، فقد مر ChipNeMo بالكثير من التطوير وهو نموذج مخصص، لذلك من المؤكد أنه سيحظى بمزيد من المزايا من حيث ملاءمة التطبيق والكفاءة. في عصر المنافسة الداخلية في شرائح الذكاء الاصطناعي، لا تزال شركة Nvidia، باعتبارها "ملك المنافسة" الرائد، تفكر في استخدام الذكاء الاصطناعي لتحسين الكفاءة. ربما هو أيضًا الشعور بالضغط من المتابعين؟

مراجع:
https://blogs.nvidia.cn/2023/10/31/llm-semiconductors-chip-nemo
https://mp.weixin.qq.com/s/cRa-qAUTB2czlUcGb4YiDw
https://mp.weixin.qq.com/s/54BCR1wMoncvRYfaccNk3g