La détection d'anomalies vise à identifier des phénomènes inhabituels, une tâche centrale dans les domaines scientifique et industriel. Cette tâche est intrinsèquement non supervisée, car les anomalies sont imprévues et inconnues lors de l'entraînement. Les récentes avancées dans l'apprentissage de représentations auto-supervisées ont directement contribué à améliorer la détection d'anomalies. Dans ce papier de position, nous expliquons d'abord comment les représentations auto-supervisées peuvent être facilement utilisées pour atteindre des performances de pointe dans les benchmarks de détection d'anomalies couramment rapportés. Nous soutenons ensuite que pour relever les défis de la prochaine génération de tâches de détection d'anomalies, il est nécessaire d'apporter de nouvelles améliorations techniques et conceptuelles à l'apprentissage de représentations.