HyperAIHyperAI

Command Palette

Search for a command to run...

منذ 4 أشهر

توليد خطوة بخطوة: قوالب الأدوات ونماذج LLM كمُولِّدات بيانات لاستجابة الأسئلة القائمة على التفكير في الرسوم البيانية

{Shabnam Ghadar Peng Tang Bhavan Jasani Zhuowan Li}

توليد خطوة بخطوة: قوالب الأدوات ونماذج LLM كمُولِّدات بيانات لاستجابة الأسئلة القائمة على التفكير في الرسوم البيانية

الملخص

فهم التمثيلات البيانية مثل المخططات والرسوم البيانية يتطلب تفكيرًا حول العناصر البصرية والقيم العددية معًا. وعلى الرغم من الكفاءة العالية في الإجابة على الأسئلة الاستخراجية، فإن نماذج إجابة الأسئلة حول المخططات (chart VQA) الحالية تعاني من ضعف الأداء في الأسئلة التي تتطلب تفكيرًا معقدًا. في هذا العمل، نعالج نقص القدرة على التفكير من خلال تعزيز البيانات. نستفيد من نماذج اللغة الكبيرة (LLMs)، التي أظهرت قدرة قوية على التفكير، كمُعلّم تلقائي للبيانات، يُولِّد تسميات أسئلة وإجابات لصور المخططات. تكمن الابتكار الرئيسي في طريقة التوليد التدريجي (Synthesize Step-by-Step): يتعلم مولِّد البيانات القائم على LLM تفكيك السؤال المعقد إلى أسئلة فرعية خطوة بخطوة (أطر تفكير)، والتي تُستخدم بعدها لاستخلاص الإجابة النهائية باستخدام أدوات خارجية، مثل لغة بايثون (Python). يتم تدريب هذه العملية التوليدية التدريجية على بيانات مصطنعة تم إنشاؤها باستخدام نموذج توليد أسئلة وإجابات مبني على قوالب. تُظهر النتائج التجريبية أهمية الاستراتيجية المُقترحة للتوليد التدريجي. وباستخدام بيانات مُعززة بواسطة LLM (LAMENDA)، نُحسّن بشكل كبير أداء نماذج إجابة الأسئلة حول المخططات، ونحقق دقة قياسية على مجموعتي بيانات ChartQA وPlotQA. وبشكل خاص، تُحسّن طريقة نهجنا دقة النموذج السابق الأفضل من 38% إلى 54% في الأسئلة المكتوبة بواسطة البشر ضمن مجموعة بيانات ChartQA، والتي تتطلب تفكيرًا قويًا. نأمل أن يُبرز هذا العمل الإمكانات الكامنة في البيانات المصطنعة، ويشجع على استكشاف إضافي لتعزيز البيانات باستخدام LLMs في المهام التي تتطلب تفكيرًا مكثفًا.

المعايير القياسية

معيار قياسيالمنهجيةالمقاييس
chart-question-answering-on-chartqaMatCha4096 + LaMenDa
1:1 Accuracy: 72.64
chart-question-answering-on-plotqaMatCha4096 + LaMenDa
1:1 Accuracy: 92.89
visual-question-answering-on-plotqa-d1MatCha4096 + LaMenDa
1:1 Accuracy: 93.94
visual-question-answering-on-plotqa-d1-1MatCha4096 + LaMenDa
1:1 Accuracy: 93.94
visual-question-answering-on-plotqa-d2MatCha4096 + LaMenDa
1:1 Accuracy: 91.84
visual-question-answering-on-plotqa-d2-1MatCha4096 + LaMenDa
1:1 Accuracy: 91.84

بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — عجّل تطوير الذكاء الاصطناعي الخاص بك من خلال البرمجة المشتركة المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة المشتركة بالذكاء الاصطناعي
وحدات معالجة رسومات جاهزة
أفضل الأسعار
ابدأ الآن

Hyper Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp
توليد خطوة بخطوة: قوالب الأدوات ونماذج LLM كمُولِّدات بيانات لاستجابة الأسئلة القائمة على التفكير في الرسوم البيانية | الأوراق البحثية | HyperAI