Ce travail aborde la tâche de détecter le ballon à partir d'une seule vue dans le cas difficile mais courant où le ballon interagit fréquemment avec les joueurs tout en étant peu contrasté par rapport au fond. Nous proposons une nouvelle approche en formulant le problème comme une tâche de segmentation résolue par une architecture CNN efficace. Pour tirer parti de la dynamique du ballon, le réseau est alimenté par une paire d'images consécutives. Notre modèle d'inférence peut fonctionner en temps réel sans le retard induit par une analyse temporelle. Nous montrons également que l'augmentation des données lors des tests permet une augmentation significative de la précision de détection. En contribution supplémentaire, nous mettons publiquement à disposition le jeu de données sur lequel repose ce travail.