تأثير حجم التدريب المسبق على التعلم المنقول الداخلي والخارجي بالكامل والقليل من الأمثلة للصور السينية للصدر الطبيعية والطبية

أظهرت الدراسات الكثيرة في مجال نمذجة اللغة وتمييز الصور الطبيعية أن زيادة حجم النموذج، وبيانات التدريب، وموارد الحوسبة أثناء التدريب المسبق تؤدي إلى تحسين كبير في قدرة النموذج على التعميم والتعلم الانتقالي. ومع ذلك، كانت معظم الدراسات التي تناولت التأثير الإيجابي لزيادة الحجم تقتصر على السياقات داخل المجال (in-domain)، حيث تكون البيانات المصدرية والهدفية قريبة من بعضها. ولدراسة تأثير الحجم الأكبر في كلا الحالتين—داخل المجال وخارج المجال—عند إجراء التعلم الانتقالي الكامل (full-shot) والقليل (few-shot)، ندمج هنا لأول مرة مجموعات بيانات طبية كبيرة ومفتوحة المصدر لتصوير الأشعة السينية للصدر، بهدف الوصول إلى حجم في مجال التصوير الطبي يعادل حجم ImageNet-1k، الذي يُستخدم بشكل شائع في التدريب المسبق للصور الطبيعية. ثم نقوم بإجراء تدريب مسبق مراقب، مع تغيير حجم الشبكة وحجم ونوع بيانات المصدر، سواء كانت بيانات طبيعية كبيرة (ImageNet-1k/21k) أو بيانات طبية كبيرة لتصوير الأشعة السينية للصدر، ونُطبّق النماذج المُدرّبة مسبقًا على أهداف طبيعية أو طبية مختلفة. نلاحظ تحسنًا ملحوظًا ناتجًا عن حجم التدريب المسبق الأكبر في حالات التعلم الانتقالي داخل المجال (بين صور طبيعية-طبيعية، وبين صور طبية-طبية). أما في حالات التعلم الانتقالي بين المجالات (الطبيعي-الطبي)، فإننا نلاحظ تحسنًا ناتجًا عن حجم التدريب المسبق الأكبر عند استخدام أهداف أشعة سينية كبيرة في سياق التعلم الكامل (full-shot)، بينما لا يُلاحظ تحسن ملحوظ في حالة الأهداف الصغيرة أو في سياق التعلم القليل (few-shot). وبشكل ملحوظ، فإن الشبكات الكبيرة المُدرّبة مسبقًا على مجموعة ImageNet-21k الطبيعية الضخمة تُظهر أداءً مساوٍ أو أفضل من الشبكات المُدرّبة على أكبر مجموعة بيانات طبية متوفرة لتصوير الأشعة السينية للصدر عند التحويل إلى أهداف أشعة سينية كبيرة. نستنتج أن زيادة كبيرة في حجم النموذج وفي بيانات المصدر الطبيعية العامة غير المُخصصة لمجال طبي معين، أثناء التدريب المسبق، يمكن أن تُمكّن من تحقيق تعلم انتقالي عالي الجودة خارج المجال إلى أهداف مخصصة لمجال طبي، مما يقلل الاعتماد على بيانات مصدر طبية كبيرة ومُخصصة، والتي غالبًا ما تكون غير متوفرة في الممارسة العملية.