近年、単一チャネル音声分離技術は著しい進展を遂げてきた。しかし、現在の手法が依拠しているパーミュテーション不変損失（PIT）に基づく学習では、10人以上の多数の話者に対して音声分離を学習することは現実的でない。本研究では、ハンガリアンアルゴリズムを用いたパーミュテーション不変学習を提案する。これにより、話者数をCとすると、計算量が従来のPIT手法のO(C!)からO(C³)に低減される。さらに、話者数の増加に対応できるように改良されたアーキテクチャも提示する。本手法は最大20人の話者を分離可能であり、大規模な話者数Cに対して、従来の結果を大幅に上回る性能を達成した。