نماذج اللغة الصغيرة تتعلم مهارات استدلال مُحسَّنة من كتب الطب

رغم التطورات الحديثة في النماذج اللغوية الكبيرة التجارية (LM) والتي أظهرت نتائج واعدة في المهام الطبية، فإن طبيعتها المغلقة تُثير مخاوف كبيرة تتعلق بالخصوصية والأمان، مما يعيق استخدامها الواسع النطاق في المجال الطبي. وعلى الرغم من الجهود المبذولة لإنشاء نماذج مفتوحة المصدر، فإن قلة عدد المعلمات فيها غالبًا ما تؤدي إلى ضعف القدرات في التفكير متعدد الخطوات المطلوبة لحل المشكلات الطبية المعقدة. وللتغلب على هذه المشكلة، نقدّم "مِيركات" (Meerkat)، وهي عائلة جديدة من الأنظمة الذكية الطبية تتراوح معلماتها بين 7 و70 مليار معلمة. تم تدريب هذه النماذج باستخدام مجموعة بيانات اصطناعية جديدة تتضمن مسارات تفكير ذات سلسلة منطقية عالية الجودة مستمدة من 18 كتابًا طبيًا، بالإضافة إلى مجموعات بيانات متنوعة للتعامل مع التعليمات. وقد حققت أنظمتنا دقة متميزة عبر ستة معايير طبية، تفوقت فيها بشكل كبير على النماذج السابقة مثل MediTron وBioMistral وGPT-3.5. وتميّز مِيركات-7B بتجاوزه للحد الأدنى المطلوب في امتحان الترخيص الطبي الأمريكي (USMLE) لأول مرة بالنسبة لنموذج بحجم 7 مليار معلمة، بينما تفوق مِيركات-70B على GPT-4 بمتوسط 1.3%. إضافةً إلى ذلك، تمكّن مِيركات-70B من تشخيص 21 حالة سريرية معقدة من أصل 38 حالة، متفوّقًا على البشر (13.8 حالة) ومتقارِبًا جدًا من أداء GPT-4 (21.8 حالة). وقدمت أنظمتنا إجابات تفصيلية حرة الشكل أكثر من النماذج الصغيرة الحالية عند معالجة الاستفسارات السريرية، واقتربت من مستوى الأداء المقدَّم من النماذج الكبيرة التجارية. وقد ساهم هذا في تقليل الفجوة الأداء بشكل كبير مع النماذج الكبيرة، مما يُظهر فعاليتها في مواجهة التحديات الطبية المعقدة.