HyperAIHyperAI

Command Palette

Search for a command to run...

قارئ رمزي عصبي: دمج قابل للتوسع بين التمثيلات الموزعة والرموزية لفهم القراءة

Chen Liang Quoc V. Le Denny Zhou Adams Wei Yu Xinyun Chen Dawn Song

الملخص

دمج التمثيلات الموزعة مع العمليات الرمزية يُعد أمرًا بالغ الأهمية لفهم القراءة الذي يتطلب استنتاجات معقدة، مثل العد، الترتيب، والحسابات الحسابية، ولكن معظم النماذج الحالية تواجه صعوبات في التوسع إلى مجالات أكثر أو استنتاجات أكثر تعقيدًا. في هذا العمل، نقترح نموذج "القارئ الرمزي العصبي" (NeRd)، الذي يتضمن قارئًا، مثل BERT، لتمثيل النص والسؤال، وبرنامجًا، مثل LSTM، لإنشاء برنامج يتم تنفيذه لإنتاج الإجابة. مقارنةً بالدراسات السابقة، يمتاز NeRd بقدرته على التوسع في جوانب متعددة: (1) عدم الاعتماد على المجال (domain-agnostic)، أي أن نفس البنية العصبية تعمل بكفاءة في مجالات مختلفة؛ (2) التراكيبية (compositional)، أي أنه عند الحاجة، يمكن إنشاء برامج معقدة من خلال تطبيق متكرر للعمليات المحددة مسبقًا، مما يُحدث تمثيلات قابلة للتنفيذ والتفسير لاستنتاجات أكثر تعقيدًا. علاوةً على ذلك، ولتجاوز تحدي تدريب NeRd باستخدام مراقبة ضعيفة، نستخدم تقنيات تعزيز البيانات (data augmentation) وطريقة التوقع-التحديث (Expectation-Maximization) الصعبة مع تطبيق حد أدنى (thresholding). على مجموعة بيانات DROP، التي تمثل تحدّيًا في فهم القراءة المطلوب فيه استنتاجات منفصلة (discrete reasoning)، حقق NeRd تحسنًا مطلقًا بنسبة 1.37% و1.18% مقارنةً بأفضل النماذج الحالية من حيث مقاييس EM وF1 على التوالي. وباستخدام نفس البنية، تفوق NeRd بشكل كبير على النماذج الأساسية على مجموعة بيانات MathQA، وهي مجموعة اختبار لمشاكل رياضية تتطلب خطوات متعددة من الاستنتاج، بنسبة تحسن مطلقة قدرها 25.5% في الدقة عند تدريبه على جميع البرامج المُعلّمة. والأهم من ذلك، أن NeRd لا يزال يتفوق على النماذج الأساسية حتى عند توفر فقط 20% من التصنيفات البرمجية.


بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — سرّع تطوير الذكاء الاصطناعي الخاص بك مع المساعدة البرمجية المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة التعاونية باستخدام الذكاء الاصطناعي
وحدات GPU جاهزة للعمل
أفضل الأسعار

HyperAI Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp