Command Palette
Search for a command to run...
VCBench: تقييم النماذج اللغوية الكبيرة في رأس المال المغامر
VCBench: تقييم النماذج اللغوية الكبيرة في رأس المال المغامر
Rick Chen Joseph Ternasky Afriyie Samuel Kwesi Ben Griffin Aaron Ontoyin Yin et al
الملخص
تُظهر معايير مثل SWE-bench وARC-AGI كيف تسهم المجموعات المشتركة من البيانات في تسريع التقدم نحو الذكاء الاصطناعي العام (AGI). نقدّم VCBench، وهي أول معيار مُصمم لتوقع نجاح المؤسسين في مجال رأس المال المُغامر (VC)، وهو مجال يعاني من توفر إشارات ضعيفة، ونتائج غير مؤكدة، وحتى المستثمرين البارزين يحققون أداءً محدودًا. في بداية التقييم، تصل دقة المؤشر السوقي إلى 1.9٪. ويتفوق Y Combinator على هذا المؤشر بنسبة 1.7 مرة، بينما تُظهر الشركات من المستوى الأول تفوقًا بنسبة 2.9 مرة. يقدّم VCBench 9000 ملفًا مؤسسيًا مجهول الهوية، مُوحّدًا لحفظ السمات التنبؤية مع الحد من خطر كشف الهوية، حيث أظهرت الاختبارات العدوية انخفاضًا يزيد عن 90٪ في احتمالية إعادة التعرف على الأفراد. قمنا بتقييم تسعة نماذج ذكاء اصطناعي كبيرة حديثة (LLMs)، حيث حقّق DeepSeek-V3 دقة تزيد عن ستة أضعاف الدقة الأساسية، وحققت GPT-4o أعلى قيمة لمؤشر F0.5، في حين تفوقت معظم النماذج على الأداء البشري. صُمّم VCBench كمصدر عام ومتغير متاح عبر هذا الرابط http، ويُعدّ معيارًا يُقوده المجتمع لضمان تقييم قابل للتكرار ومحفظ للخصوصية في مجال التنبؤ المبكر بمشاريع رأس المال المغامر، ضمن مسار التطور نحو الذكاء الاصطناعي العام.