نحو جعل صور الرسوم البيانية قابلة للتفسير الآلي

تتضمن الكتب التعليمية للبرمجة الحاسوبية وتوثيقات البرمجيات غالبًا الرسوم البيانية للتدفق (flowcharts) لتوضيح تدفق الخوارزمية أو الإجراء. ومع ذلك، فإن محركات التعرف على الأحرف الضوئية الحديثة (OCR) غالباً ما تقوم بتسمية هذه الرسوم البيانية كصور وتتجاهلها في المعالجة اللاحقة. في هذا البحث، نسعى لجعل صور الرسوم البيانية قابلة للتفسير الآلي من خلال تحويلها إلى أكواد برمجية قابلة للتنفيذ بلغة البايثون. لتحقيق هذا الهدف، استلهمنا من النجاحات الحديثة في أدبيات تحويل اللغة الطبيعية إلى رموز برمجية، ونقدم إطارًا جديدًا يستند إلى المتحولات (transformer)، يُطلق عليه FloCo-T5.نموذجنا ملائم جيدًا لهذه المهمة لأنه قادر على تعلم الدلالات والهيكل وأنماط لغات البرمجة بكفاءة، مما يستخدمه لإنشاء رموز برمجية صحيحة نحوياً. كما استخدمنا هدف تدريب مسبق خاص بالمهمة لتدريب FloCo-T5 باستخدام عدد كبير من عينات الرموز البرمجية التي تم تعزيزها مع الحفاظ على المنطق. بالإضافة إلى ذلك، لأجل إجراء دراسة دقيقة لهذه المشكلة، قدمنا مجموعة بيانات FloCo التي تحتوي على 11,884 صورة للرسوم البيانية للتدفق وأكواد البايثون المقابلة لها. تظهر تجاربنا نتائج واعدة، حيث يتفوق FloCo-T5 بشكل واضح على القواعد التنافسية ذات الصلة في مقاييس إنشاء الرموز البرمجية. نحن نجعل مجموعة البيانات وتنفيذ النموذج متاحين بشكل عام.