HyperAIHyperAI

Command Palette

Search for a command to run...

تقييم الترجمة الآلية باستخدام نماذج اللغة الكبيرة لتقارير الأخطاء متعددة اللغات

Patil Avinash Tao Siru Jadon Aryan

الملخص

الترجمة الدقيقة لتقارير الأعطال أمر بالغ الأهمية لضمان التعاون الفعّال في تطوير البرمجيات عالميًا. في هذه الدراسة، نُجري أول تقييم شامل لأداء الترجمة الآلية (MT) على تقارير الأعطال، مع تحليل قدرات منصات مثل DeepL و AWS Translate، بالإضافة إلى نماذج اللغة الكبيرة مثل ChatGPT و Claude و Gemini و LLaMA و Mistral، باستخدام بيانات من مستودع Visual Studio Code على GitHub، مع التركيز بشكل خاص على التقارير التي تم وضع علامة "english-please" عليها. ولتقييم جودة الترجمة ودقة تحديد اللغة الأصلية، نستخدم مجموعة متنوعة من مقاييس الترجمة الآلية، بما في ذلك BLEU و BERTScore و COMET و METEOR و ROUGE، إلى جانب مقاييس تصنيف مثل الدقة (Accuracy) والدقة (Precision) والاحتواء (Recall) ودقة F1. تُظهر نتائجنا أن ChatGPT (gpt-4o) يتفوق في جودة الترجمة الدلالية واللفظية، لكنه لا يُحقق التفوق في تحديد اللغة الأصلية. بينما حقق كل من Claude و Mistral أعلى قيم لدقة F1 (0.7182 و 0.7142 على التوالي)، وسجّل Gemini أفضل دقة (0.7414). وتفوّقت AWS Translate من حيث الدقة (0.4717) في تحديد اللغات الأصلية. تُبرز هذه النتائج أن لا يوجد نظام واحد يتفوّق في جميع المهام، مما يعزز أهمية التقييمات المخصصة لكل مهمة. وتشير الدراسة إلى الحاجة إلى التكييف حسب المجال عند ترجمة المحتوى التقني، وتوفر رؤى قابلة للتنفيذ لدمج الترجمة الآلية في سير عمل تصنيف الأعطال. يُتاح الكود والبيانات المستخدمة في هذه الدراسة على GitHub: https://github.com/av9ash/English-Please


بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — سرّع تطوير الذكاء الاصطناعي الخاص بك مع المساعدة البرمجية المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة التعاونية باستخدام الذكاء الاصطناعي
وحدات GPU جاهزة للعمل
أفضل الأسعار

HyperAI Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp