MedMobile: نموذج لغوي مصغّر يعمل على الأجهزة المحمولة ويتمتع بقدرات سريرية على مستوى الخبير

أظهرت نماذج اللغة (LMs) قدرات استدلال وذاكرة على مستوى الخبراء في مجال الطب. ومع ذلك، تُعد التكاليف الحسابية والمخاوف المتعلقة بالخصوصية عوائق متزايدة أمام التنفيذ على نطاق واسع. نقدم تكييفًا مُبسطًا لنموذج phi-3-mini، يُسمى MedMobile، وهو نموذج لغة بحجم 3.8 مليار معلمة قادر على العمل على أجهزة محمولة، مُخصصًا للتطبيقات الطبية. ونُظهر أن MedMobile يحقق تقييمًا بنسبة 75.7% في اختبار MedQA (USMLE)، متفوقًا على الحد الأدنى المطلوب للنجاح بالنسبة للأطباء (~60%)، ويقترب من أداء النماذج التي تبلغ حجمها 100 مرة حجمها. ثم نُجري مجموعة دقيقة من التحليلات التباينية، ونُثبت أن تقنيات التفكير المتسلسل (chain of thought)، والتركيب (ensembling)، والتحسين الدقيق (fine-tuning) تُسهم في أكبر مكاسب في الأداء، في حين أن تقنية التوليد المُعزّز بالاسترجاع (retrieval augmented generation) أظهرت نتائج غير متوقعة، حيث لم تُظهر تحسينات كبيرة.