La détection des moments marquants dans les vidéos consiste à sélectionner automatiquement les instants les plus captivants à partir d’une vidéo longue. Ce problème est particulièrement difficile, car il vise à apprendre une méthode générale permettant de repérer les moments forts à partir d’une grande variété de vidéos du monde réel. Cette tâche présente une subjectivité intrinsèque, puisque la définition d’un moment marquant varie d’une personne à l’autre. Afin de détecter des moments cohérents et significatifs, les jeux de données de référence existants ont été étiquetés par plusieurs juges (entre 5 et 20). En raison du coût élevé de l’étiquetage manuel, la plupart des jeux de données publics disponibles sont extrêmement limités en taille, ne comprenant que quelques dizaines ou centaines de vidéos. Cette échelle insuffisante des jeux de données entraîne plusieurs problèmes, tels qu’une évaluation instable ou une grande sensibilité aux partitions entraînement-test. Nous présentons Mr. HiSum, un jeu de données à grande échelle pour la détection et la synthèse des moments marquants, comprenant 31 892 vidéos et des étiquettes fiables agrégées à partir de plus de 50 000 utilisateurs par vidéo. Nous démontrons empiriquement la fiabilité de ces étiquettes, interprétées comme une mesure d’importance des cadres, par des expérimentations de transfert entre jeux de données et des études utilisateurs.