La désambiguïsation du sens des mots est une tâche fondamentale en traitement automatique des langues, au cœur de la compréhension du langage humain. Toutefois, l’évaluation des systèmes automatiques a longtemps souffert de problèmes, principalement en raison du manque d’un cadre d’évaluation fiable. Dans cet article, nous proposons un cadre d’évaluation unifié et analysons la performance de divers systèmes de désambiguïsation du sens des mots dans un environnement équitable. Les résultats montrent que les systèmes supervisés surpassent clairement les modèles fondés sur les connaissances. Parmi les systèmes supervisés, un classificateur linéaire entraîné sur des caractéristiques locales classiques s’avère toujours un benchmark difficile à battre. Néanmoins, les approches récentes exploitant les réseaux de neurones sur des corpus non étiquetés obtiennent des résultats prometteurs, dépassant ce benchmark robuste sur la plupart des jeux de test.