نقدّم "SimpleQA"، وهو معيار تقييم يُقيّم قدرة النماذج اللغوية على الإجابة عن أسئلة قصيرة تبحث عن حقائق. وقد ركّزنا في تصميم هذا المعيار على خصيصين رئيسيين. أولاً، يُعدّ SimpleQA تحديًا كبيرًا، إذ تم جمعه بشكل مُضاد (Adversarial) ضد إجابات نموذج GPT-4. ثانيًا، تُسهّل الإجابات التصحيح، لأن الأسئلة صُمّمت بحيث توجد إجابة واحدة فقط، وحيدة، وليست موضع جدل. تُصنف كل إجابة في SimpleQA على أنها إما صحيحة، أو خاطئة، أو لم تُجَرَّب. ويُفترض أن النموذج المثالي يُجيب على أكبر عدد ممكن من الأسئلة بشكل صحيح، دون محاولة الإجابة عن الأسئلة التي لا يثق بقدرته على معرفة إجابتها الصحيحة. يُعدّ SimpleQA تقييمًا بسيطًا ومحورياً لتحديد ما إذا كانت النماذج "تعرف ما تعرفه"، ونأمل أن يظل هذا المعيار ذا صلة وفعالية في تقييم النماذج الرائدة خلال الأجيال القادمة.