في هذه الورقة، نستكشف قدرة النمذجة الخاصة بالتمثيلات السياقية المستمدة من نماذج اللغة المُدرّبة مسبقًا، مثل BERT، في مهمة E2E-ABSA. بشكل خاص، نُنشئ سلسلة من النماذج العصبية البسيطة ولكنها واعية لمعالجة مهمة E2E-ABSA. تُظهر النتائج التجريبية أن حتى باستخدام طبقة تصنيف خطية بسيطة، يمكن لهيكلنا القائم على BERT أن يتفوق على الأعمال الرائدة في المجال. علاوةً على ذلك، نُوحِّد دراسة المقارنة من خلال استخدام مجموعة التحقق المحفوظة (hold-out validation dataset) بشكل منتظم لاختيار النموذج، وهي ممارسة تم تجاهلها إلى حد كبير في الدراسات السابقة. وبالتالي، يمكن لهذه الدراسة أن تُعدّ معيارًا مرجعيًا قائمة على BERT لمهمة E2E-ABSA.