HyperAIHyperAI
منذ 2 أشهر

ArcheType: إطار جديد لتصنيف أنواع الأعمدة في المصادر المفتوحة باستخدام نماذج اللغة الكبيرة

Benjamin Feuer; Yurong Liu; Chinmay Hegde; Juliana Freire
ArcheType: إطار جديد لتصنيف أنواع الأعمدة في المصادر المفتوحة باستخدام نماذج اللغة الكبيرة
الملخص

الطرق الحالية للتعلم العميق في تسمية الأعمدة الدلالية (CTA) تعاني من عيوب مهمة: فهي تعتمد على أنواع دلالية ثابتة عند التدريب؛ تتطلب عددًا كبيرًا من العينات التدريبية لكل نوع وتتكبد تكاليف استدلال تشغيلية كبيرة؛ وقد تنخفض أداؤها عند تقييمها على مجموعات بيانات جديدة، حتى عندما تظل الأنواع ثابتة. أظهرت النماذج اللغوية الكبيرة قدرة تصنيف قوية بدون تعلم مسبق في مجموعة واسعة من المهام وفي هذا البحث نستكشف استخدامها لـ CTA. نقدم ArcheType، وهي طريقة بسيطة وعملية لعينة السياق، وسلسلة الدعوة، واستعلام النموذج وإعادة رسم التسميات، مما يمكّن النماذج اللغوية الكبيرة من حل مشاكل CTA بطريقة كاملة بدون تعلم مسبق. نقوم بتقييم كل مكون من مكونات طريقتنا بشكل منفصل، ونثبت أن التحسينات في عينة السياق وإعادة رسم التسميات توفر المكاسب الأكثر اتساقًا. يحدد ArcheType مستوى جديد من الأداء الرائد في مقاييس CTA بدون تعلم مسبق (بما في ذلك ثلاثة مقاييس جديدة خاصة بال مجالات والتي نطلقها مع هذا البحث)، ويتفوق على نموذج DoDuo الرائد عند استخدامه مع تقنيات CTA التقليدية في مقاييس SOTAB المعدلة بدقة. يمكن الحصول على شفرتنا البرمجية من https://github.com/penfever/ArcheType.

ArcheType: إطار جديد لتصنيف أنواع الأعمدة في المصادر المفتوحة باستخدام نماذج اللغة الكبيرة | أحدث الأوراق البحثية | HyperAI