استخدم Open WebUI لنشر نموذج Llama 3.1 405B بنقرة واحدة

البرنامج التعليمي ومقدمة النموذج

يستخدم هذا البرنامج التعليمي OpenWebUI لنشر Llama-3.1-405B-Instruct-AWQ-INT4 بنقرة واحدة. تم إعداد البيئة والتكوين المناسبين. كل ما عليك فعله هو استنساخ الحاوية وبدء تشغيلها لتجربة الاستدلال.

هذا النموذج هو إصدار تعليمات حجم المعلمة 405B من سلسلة Llama 3.1 من نماذج اللغة الكبيرة، ويستخدم تقنية التكميم AWQ لتكميم أوزان النموذج بدقة INT4، مما يساعد على تقليل حجم النموذج وتحسين سرعة الاستدلال مع الحفاظ على الأداء. إنه أحد أكبر نماذج المصدر المفتوح المتاحة حاليًا، وهو يدعم الإدخال والإخراج متعدد اللغات، مما يعزز تنوع النموذج وقابليته للتطبيق، مع تقديم نافذة سياق أطول والقدرة على التعامل مع مهام ومحادثات أكثر تعقيدًا.

يتميز نموذج Llama-3.1-405B-Instruct-AWQ-INT4 بطول سياق يبلغ 128 ألف رمز، مما يتيح له فهم وإنشاء نصوص أطول وأكثر تماسكًا. بالإضافة إلى ذلك، يخضع النموذج لضبط التعليمات لتحسين أدائه في اتباع تعليمات المستخدم. ويستخدم النموذج أيضًا تقنية التكميم، وخاصة طريقة التكميم AWQ (تكميم الوزن التكيفي)، لتكميم أوزان النموذج بدقة INT4، مما يساعد على تقليل حجم النموذج وتحسين سرعة الاستدلال مع الحفاظ على الأداء.

يتم تقييم أداء النموذج على أكثر من 150 مجموعة بيانات معيارية تغطي لغات متعددة، ويتم إجراء تقييم بشري مكثف لمقارنته بالنماذج المنافسة في سيناريوهات العالم الحقيقي. يُظهر التقييم التجريبي أن أداء Llama-3.1-405B مماثل لأداء النماذج الأساسية الرائدة في مجموعة من المهام، بما في ذلك GPT-4، وGPT-4o، وClaude 3.5 Sonnet. بالإضافة إلى ذلك، تم تحسين النموذج للعمل على منصات NVIDIA المتعددة، بما في ذلك خوادم البيانات، وأجهزة الحافة، وأجهزة الكمبيوتر الشخصية.

خطوات التشغيل

1. بعد استنساخ الحاوية وبدء تشغيلها في الزاوية اليمنى العليا من واجهة البرنامج التعليمي، انسخ عنوان API لفتح صفحة جديدة

2. بعد فتح واجهة برمجة التطبيقات (API)، يمكنك رؤية الواجهة التالية. يمكنك إدخال نص مباشرةً في مربع الحوار للتواصل مع النموذج الكبير (نظرًا لحجم النموذج الكبير، يستغرق تحميل النموذج في واجهة OpenWebUI حوالي 30 ثانية. يتم تحديد النموذج افتراضيًا. إذا لم تتمكن من تحديده، فقد يكون السبب هو عدم تحميل النموذج بعد. قم بتحديث صفحة عنوان واجهة برمجة التطبيقات بعد 30 ثانية)