توليد خطوة بخطوة: قوالب الأدوات ونماذج LLM كمُولِّدات بيانات لاستجابة الأسئلة القائمة على التفكير في الرسوم البيانية

فهم التمثيلات البيانية مثل المخططات والرسوم البيانية يتطلب تفكيرًا حول العناصر البصرية والقيم العددية معًا. وعلى الرغم من الكفاءة العالية في الإجابة على الأسئلة الاستخراجية، فإن نماذج إجابة الأسئلة حول المخططات (chart VQA) الحالية تعاني من ضعف الأداء في الأسئلة التي تتطلب تفكيرًا معقدًا. في هذا العمل، نعالج نقص القدرة على التفكير من خلال تعزيز البيانات. نستفيد من نماذج اللغة الكبيرة (LLMs)، التي أظهرت قدرة قوية على التفكير، كمُعلّم تلقائي للبيانات، يُولِّد تسميات أسئلة وإجابات لصور المخططات. تكمن الابتكار الرئيسي في طريقة التوليد التدريجي (Synthesize Step-by-Step): يتعلم مولِّد البيانات القائم على LLM تفكيك السؤال المعقد إلى أسئلة فرعية خطوة بخطوة (أطر تفكير)، والتي تُستخدم بعدها لاستخلاص الإجابة النهائية باستخدام أدوات خارجية، مثل لغة بايثون (Python). يتم تدريب هذه العملية التوليدية التدريجية على بيانات مصطنعة تم إنشاؤها باستخدام نموذج توليد أسئلة وإجابات مبني على قوالب. تُظهر النتائج التجريبية أهمية الاستراتيجية المُقترحة للتوليد التدريجي. وباستخدام بيانات مُعززة بواسطة LLM (LAMENDA)، نُحسّن بشكل كبير أداء نماذج إجابة الأسئلة حول المخططات، ونحقق دقة قياسية على مجموعتي بيانات ChartQA وPlotQA. وبشكل خاص، تُحسّن طريقة نهجنا دقة النموذج السابق الأفضل من 38% إلى 54% في الأسئلة المكتوبة بواسطة البشر ضمن مجموعة بيانات ChartQA، والتي تتطلب تفكيرًا قويًا. نأمل أن يُبرز هذا العمل الإمكانات الكامنة في البيانات المصطنعة، ويشجع على استكشاف إضافي لتعزيز البيانات باستخدام LLMs في المهام التي تتطلب تفكيرًا مكثفًا.