Dans cet article, nous étudions la puissance de modélisation des embeddings contextualisés issus des modèles linguistiques pré-entraînés, tels que BERT, sur la tâche E2E-ABSA. Plus précisément, nous proposons une série de modèles neuronaux simples mais informatifs comme bases de comparaison pour traiter la tâche E2E-ABSA. Les résultats expérimentaux montrent qu’avec simplement une couche de classification linéaire, notre architecture basée sur BERT peut surpasser les méthodes de pointe. En outre, nous standardisons l’étude comparative en utilisant de manière cohérente un ensemble de validation exclu (hold-out) pour la sélection de modèle, une pratique largement négligée dans les travaux antérieurs. Par conséquent, notre travail peut servir de référence basée sur BERT pour la tâche E2E-ABSA.