La prédiction de l’étiquette de classe à partir d’une séquence d’activité partiellement observée constitue une tâche extrêmement difficile, car les segments initiaux observés de différentes activités peuvent être très similaires. Dans cet article, nous proposons un nouveau réseau de discrimination consciente de la difficulté (HARD-Net) afin d’étudier spécifiquement les relations entre les paires d’activités similaires qui sont difficiles à distinguer. Plus précisément, nous avons conçu une banque d’instances d’interférence de classe à forte difficulté (HI-IC), qui enregistre dynamiquement les paires similaires difficiles à discriminer. À partir de cette banque HI-IC, nous proposons un nouveau schéma d’apprentissage adversarial pour entraîner notre HARD-Net, qui confère ainsi à notre réseau une forte capacité à extraire des informations de discrimination subtiles pour la prédiction précoce des activités 3D. Nous évaluons notre HARD-Net sur deux jeux de données publics d’activités et obtenons des performances de pointe.