HyperAIHyperAI

Command Palette

Search for a command to run...

منذ 12 ساعات
NVIDIA
LLM
GPU

تشغيل الذكاء الاصطناعي بذاكرة 32 جيجابايت بتكلفة 266 دولار

نجح هاوي تكنولوجيا يدعى أوسكار مولنار في تجميع نظام حوسبة بتكلفة 266 دولارًا فقط، يعتمد على دمج بطاقة رسومات مؤسسية قديمة مع بطاقة استهلاكية حديثة لتوفير 32 جيجابايت من ذاكرة الفيديو الموحدة بهدف تسريع نماذج الذكاء الاصطناعي المحلية. يأتي هذا المشروع في ظل ارتفاع حاد في أسعار الذاكرة وعجز المعروض، مما دفع المطورين للبحث عن حلول بديلة منخفضة التكلفة. اعتمد النظام على بطاقة NVIDIA Tesla V100 SXM2 ذات 16 جيجابايت من ذاكرة HBM2، والتي تم اقتناؤها عبر المنصات الإلكترونية بسعر منخفض نسبياً، بالإضافة إلى بطاقة RTX 4080 الاستهلاكية ذات 16 جيجابايت. وتم ربط البطاقتين عبر محول SXM2 إلى PCIe بتكلفة قدرها 66 دولارًا، مما مكن النظام من الاستفادة من الذاكرة الموحدة لتشغيل نماذج لغوية ضخمة. واجه المشروع تحدياً تقنياً يتمثل في ضجاجة مروحة التبريد المؤسسية، التي تصل إلى 82 ديسيبل وتشبه ضجاجة آلات قطع العشب. لتجاوز هذه المعضلة، قام الهواة بتعديل دائرة المروحة وربطها بمنفذ PWM في اللوحة الأم، مما يسمح بتشغيلها بنسبة 10٪ فقط، وهي كفاءة كافية للحفاظ على درجة حرارة البطاقة أقل من 50 مئوية أثناء الحمل الكامل، مع خفض الضجاجة بشكل ملحوظ. من جانب البرمجيات، استعان المطور بنظام NixOS مع برنامج تشغيل NVIDIA القديم المدعوم تقنياً، والذي يجمع بين توافق معمارية Volta الخاصة ببطاقة Tesla ومعمارية Ada الخاصة بالبطاقة الاستهلاكية. وسمح هذا التكوين بتوزيع أعباء العمل عبر الذاكرة الموحدة دون تعقيدات برمجية كبيرة. أثبتت الاختبارات العملية فعالية هذا التكوين، حيث تم تشغيل نموذج لغوي يتكون من 27 مليار معلمة بمعدل 32 رمزًا في الثانية، وهو أداء كافٍ للتفاعل البشري المباشر ويتفوق في السرعة على العديد من خدمات الذكاء الاصطناعي السحابية المدفوعة. ويؤكد هذا المشروع أن إعادة تدوير المكونات المؤسسية القديمة، مع التعديلات الهندسية المناسبة، يمكن أن تكون بديلاً عملياً ومجدياً اقتصادياً لمطوري الذكاء الاصطناعي الهواة ومحبي الحوسبة المحلية، خاصة في ظل التحديات الاقتصادية الراهنة لسوق الذاكرة المتقدمة.

الروابط ذات الصلة