تنبؤ الكود من خلال تغذية الأشجار إلى المحولات

نُقدّم تقدّمًا في الحد الأقصى من الدقة المحقّقة في توقع الكود (توقع الرمز التالي) المستخدم في أنظمة الإكمال التلقائي. أولاً، نُبلغ أن استخدام معمارية Transformer الحديثة، حتى دون تعديلها، يفوق الأنظمة السابقة القائمة على الشبكات العصبية وغير العصبية في توقع الكود. ثم نُظهر أن إدخال معرفة بالبنية النحوية للكود إلى معمارية Transformer يؤدي إلى زيادة إضافية في الفجوة بين أداء النظام القائم على Transformer وأداء الأنظمة السابقة. وبهذا، يتفوّق النظام القائم على Transformer على دقة النظام القائم على RNN (المماثل لنظام Hellendoorn et al. 2018) بنسبة 18.3٪، وعلى نظام Deep3 (Raychev et al. 2016) بنسبة 14.1٪، وعلى نسخة معدلة من Code2Seq (Alon et al., 2018) المُعدّة لتوقع الكود بنسبة 14.4٪.في الورقة البحثية، نقدّم عدة طرق لنقل البنية النحوية للكود إلى معمارية Transformer، التي تم بناؤها أساسًا لمعالجة البيانات التسلسلية. ونُقدّم تقييمًا تجريبيًا شاملاً لاقتراحنا، إلى جانب خيارات تصميم بديلة، على مجموعة بيانات قياسية لغة بايثون، وكذلك على مجموعة بيانات داخلية من فيسبوك تتعلق ببايثون. وسيكون كودنا وخط أنابيب إعداد البيانات متاحين مفتوح المصدر.