Les approches de segmentation des anomalies de pointe (SOTA) dans les scènes urbaines complexes explorent l'incertitude de classification au niveau des pixels, apprise à partir d'expositions à des données aberrantes ou via des modèles externes de reconstruction. Toutefois, les méthodes précédentes fondées sur l'incertitude, qui associent directement une haute incertitude aux anomalies, peuvent parfois conduire à des prédictions erronées d'anomalies, tandis que les modèles externes de reconstruction s'avèrent généralement trop coûteux en ressources pour être utilisés en temps réel dans les systèmes embarqués de conduite autonome. Dans ce travail, nous proposons une nouvelle méthode de segmentation des anomalies, nommée apprentissage par abstention biaisée par énergie au niveau des pixels (PEBAL), qui exploite l'apprentissage par abstention au niveau des pixels (AL) combiné à un modèle apprenant une classe d'anomalie adaptative au niveau pixel, ainsi qu'un modèle fondé sur l'énergie (EBM) apprenant la distribution des pixels normaux (inliers). Plus précisément, PEBAL repose sur une formation conjointe non triviale de l'EBM et de l'AL : l'EBM est entraîné pour produire une énergie élevée pour les pixels anormaux (issus d'une exposition à des données aberrantes), tandis que l'AL est optimisée de manière à attribuer une pénalité adaptativement faible aux pixels à haute énergie lorsqu'ils sont inclus dans la classe d'anomalie. Nous évaluons de manière exhaustive PEBAL par rapport aux méthodes SOTA et démontrons qu'elle atteint les meilleurs résultats sur quatre benchmarks. Le code est disponible à l'adresse suivante : https://github.com/tianyu0207/PEBAL.