La séparation de paroles sur un seul canal a connu des progrès considérables au cours des dernières années. Toutefois, l'entraînement de modèles neuronaux pour la séparation de paroles impliquant un grand nombre de locuteurs (par exemple, plus de 10 locuteurs) reste hors de portée des méthodes actuelles, qui reposent sur la fonction de perte invariante aux permutations (PIT). Dans ce travail, nous proposons une méthode d'entraînement invariante aux permutations exploitant l'algorithme hongrois, permettant une complexité temporelle de $O(C^3)$O(C3), où $C$C désigne le nombre de locuteurs, contre une complexité de $O(C!)$O(C!) pour les méthodes basées sur PIT. Par ailleurs, nous introduisons une architecture modifiée capable de gérer un nombre accru de locuteurs. Notre approche permet la séparation de jusqu'à 20 locuteurs et améliore de manière significative les résultats précédents pour de grandes valeurs de $C$C.