PatentBERT: تصنيف البراءات باستخدام نموذج BERT المدرب مسبقًا مع التحسين الدقيق

في هذا العمل، نركز على تحسين نموذج BERT المدرب مسبقًا وتطبيقه على تصنيف البراءات. عند استخدامه مع قواعد بيانات كبيرة تتضمن أكثر من مليوني براءة، يتفوق نهجنا على أحدث التقنيات التي تعتمد على شبكات الاعصاب التلافيفية (CNN) مع تمثيلات الكلمات (word embeddings). بالإضافة إلى ذلك، نركز على دعاوى البراءات دون الأجزاء الأخرى في وثائق البراءات. إسهاماتنا تشمل: (1) طريقة جديدة تُعد الأكثر تقدمًا حتى الآن تعتمد على نموذج BERT المدرب مسبقًا والتحسين الدقيق لتصنيف البراءات، (2) مجموعة بيانات كبيرة USPTO-3M على مستوى الفئة الفرعية CPC مع أوامر SQL يمكن استخدامها من قبل الباحثين المستقبليين، (3) إظهار أن دعاوى البراءات بمفردها كافية لأداء مهمة التصنيف، وذلك في مقابل الحكمة السائدة.