توافر تمثيلات اللغة التي تعلمها نماذج الشبكات العصبية المدربة مسبقًا والكبيرة الحجم (مثل BERT وELECTRA) قد أدى إلى تحسينات في العديد من المهام المعالجة اللغوية الطبيعية ذات الصلة في السنوات الأخيرة. عادةً ما تختلف النماذج المدربة مسبقًا في أهداف التدريب المسبق، والهياكل، ومجموعات البيانات التي يتم تدريبها عليها، مما يمكن أن يؤثر على الأداء في المهام اللاحقة. في هذا البحث، قمنا بضبط نماذج BERT وELECTRA الألمانية بشكل دقيق لتحديد التعليقات السامة (المهمة الفرعية 1)، والمشوقة (المهمة الفرعية 2)، والمدعية للحقائق (المهمة الفرعية 3) في بيانات Facebook التي قدمتها مسابقة GermEval 2021. قمنا بإنشاء مجموعات من هذه النماذج وفحصنا ما إذا وكيف يعتمد أداء التصنيف على عدد أعضاء المجموعة وتكوينها. على البيانات خارج العينة، حققت أفضل مجموعة لدينا درجة macro-F1 بلغت 0.73 (لجميع المهام الفرعية)، ودرجات F1 بلغت 0.72، 0.70، و0.76 للمهام الفرعية 1، 2، و3 على التوالي.