HyperAIHyperAI

Command Palette

Search for a command to run...

KERMIT: نموذج توليدي قائم على الإدراج للتواليات

William Chan; Nikita Kitaev; Kelvin Guu; Mitchell Stern; Jakob Uszkoreit

الملخص

نقدم KERMIT، وهي طريقة بسيطة قائمة على الإدراج لنموذج التوليد للسلسلات وازدواج السلسلات. يُعد نموذج KERMIT توزيعًا مشتركًا وتفكيكاته (أي الحدودية والشرطية) باستخدام شبكة عصبية واحدة، وعلى عكس الكثير من الأعمال السابقة، لا يعتمد على تحليل مسبق لتوزيع البيانات. أثناء التدريب، يمكن إدخال بيانات مزدوجة (x,y)(x, y)(x,y) إلى KERMIT لتعلم التوزيع المشترك p(x,y)p(x, y)p(x,y)، ويمكن اختياريًا مزج بيانات غير مزدوجة xxx أو yyy لتحسين الحدودية p(x)p(x)p(x) أو p(y)p(y)p(y). أثناء الاستدلال، لدينا إمكانية الوصول إلى الشرطيات في الاتجاهين p(xy)p(x \mid y)p(xy) وp(yx)p(y \mid x)p(yx). يمكننا أيضًا أخذ عينات من التوزيع المشترك أو الحدودية. يدعم النموذج كلًا من التفكيك الذاتي بالكامل والتفكيك الجزئي المتوازي، حيث يظهر الأخير زمن تشغيل متعدد اللوغاريتمات بشكل تجريبي. نثبت من خلال التجارب في الترجمة الآلية وتعلم التمثيل والإجابة على الأسئلة المغلقة بدون تعلم أولي أن نهجنا الموحد قادر على تحقيق أو تجاوز أداء الأنظمة الرائدة المخصصة لنطاق واسع من المهام دون الحاجة إلى تعديل هندسي خاص بالمشكلة.


بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — سرّع تطوير الذكاء الاصطناعي الخاص بك مع المساعدة البرمجية المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة التعاونية باستخدام الذكاء الاصطناعي
وحدات GPU جاهزة للعمل
أفضل الأسعار

HyperAI Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp
KERMIT: نموذج توليدي قائم على الإدراج للتواليات | مستندات | HyperAI