أطلقت مايكروسوفت إطار عمل رسمي جديدًا لعمليات الاستدلال باسم bitnet.cpp، مصممًا خصيصًا لنماذج اللغة الكبيرة ذات البت الواحد مثل BitNet b1.58. هذا الإطار يعمل كحل أمثل لتسريع وتشغيل هذه النماذج بكفاءة عالية على معالجات الحواسيب المركزية (CPU) ووحدة معالجة الرسومات (GPU)، مع خطط قادمة لدعم وحدات المعالجة العصبية (NPU). يأتي الإصدار الأول من bitnet.cpp ليدعم التشغيل على معالجات الحاسوب المركزية، محققًا تسارعًا في الأداء يتراوح بين 1.37 إلى 5.07 ضعف على معالجات ARM، بينما يتراوح هذا التسارع على معالجات x86 بين 2.37 إلى 6.17 ضعف. تشير البيانات إلى أن التقنية تحقق وفورات هائلة في استهلاك الطاقة، حيث انخفض الاستهلاك بنسبة تتراوح من 55.4% إلى 70% على معالجات ARM، ووصلت النسبة إلى 71.9% حتى 82.2% على معالجات x86. من الإنجازات البارزة إمكانية تشغيل نموذج ضخم بحجم 100 مليار معلمة على معالج مركزي واحد، مع تحقيق سرعة توليد نصوص تقارب 5 إلى 7 رمز في الثانية، وهو معدل يشبه سرعة قراءة الإنسان، مما يعزز جدوى تشغيل نماذج الذكاء الاصطناعي المتقدمة على الأجهزة المحلية بدلاً من الاعتماد الكلي على السحابة. أحدثت التحسينات الحديثة في bitnet.cpp زيادة إضافية في السرعة تتراوح بين 1.15 إلى 2.1 مرة عبر منصات وعملات مختلفة بفضل تطبيق تنفيذ متوازي للنوى ودعم تكميم التضمين. يستند هذا المشروع إلى إطار عمل مفتوح المصدر llama.cpp، مع بناء النوى الخاصة به على منهجيات جداول البحث التي ابتكرتها تقنية T-MAC. يوفر المشروع الآن نماذج رسمية متعددة، تشمل إصدارات بحجم 2.4 مليار و3.3 مليار و0.7 مليار معلمة، بالإضافة إلى نماذج مكممة من عائلات Llama وFalcon. تدعم النسخة الحالية تشغيل النماذج على معالجات x86 وARM، مع تباين في القدرات اعتمادًا على نوع النواة وبنية النموذج. تم إطلاق المشروع تدريجيًا منذ أكتوبر 2023، حيث بدأت أولى التحركات بتحديثات حول نماذج بت واحد، ثم إصدار bitnet.cpp 1.0 في أكتوبر 2024، يليه دعم الاستدلال على GPU في مايو 2025، وصولًا إلى تحسينات كفاءة الاستدلال على المعالجات المركزية في يناير 2026. تهدف مايكروسوفت من خلال هذا الإصدار إلى إلهام المزيد من التطوير لنماذج اللغة الكبيرة في إعدادات الحجم والبيانات التدريبية الضخمة باستخدام تقنيات بت واحد. يتطلب تشغيل bitnet.cpp تجميع الكود من المصدر وتثبيت الم zależnościات، مع توفير سكريبتات مساعدة لتثبيت البيئة وتشغيل الاختبارات benchmarks. يتيح البرنامج للمستخدمين تحديد معلمات مثل عدد المعالجات المستخدمة، حجم السياق، ودرجة عشوائية المخرجات. تتضمن التغطية تفاصيل حول كيفية التعامل مع الأخطاء الشائعة أثناء البناء، مثل مشكلات المكتبات في أنظمة ويندوز، وكيف يمكن استخدام أدوات clang لتجهيز بيئة التطوير. يركز الموقع على توفير أدوات عملية للمطورين والمختصين لتجربة هذه التقنيات الناشئة في مجال نماذج الذكاء الاصطناعي ذات الكفاءة العالية وتقليل التكلفة التشغيلية.