깊은 학습에서 분류를 위한 두 가지 새로운 손실 함수를 소개합니다. 이 두 가지 손실 함수는 최소 엔트로피와 쿨백-라이블러(K-L) 발산 항을 사용하여 표준 크로스 엔트로피 손실을 정규화하여 확장한 것입니다. 첫 번째 새로운 손실 함수는 혼합 엔트로피 손실(MIX-ENT, 간단히 MIX-ENT라고 함)으로 명명되었으며, 두 번째는 최소 엔트로피 정규화 크로스 엔트로피 손실(MIN-ENT, 간단히 MIN-ENT라고 함)으로 명명되었습니다. MIX-ENT 함수는 최소 엔트로피 항과 K-L 발산 항의 합과 동일하다고 증명될 수 있는 정규화기를 도입합니다. 그러나 여기서의 K-L 발산 항은 표준 크로스 엔트로피 손실 함수에서와 다르다는 점에 주목해야 합니다. 즉, 목표 확률과 가설 확률의 역할이 바뀌어 있다는 것입니다. MIN-ENT 함수는 단순히 표준 크로스 엔트로피 손실 함수에 최소 엔트로피 정규화기를 추가한 것입니다. MIX-ENT와 MIN-ENT 모두 신경망이 출력하는 가설 확률 분포의 엔트로피를 최소화하는 최소 엔트로피 정규화기를 포함하고 있습니다.EMNIST-Letters 데이터셋에서 수행된 실험 결과, MIX-ENT와 MIN-ENT를 구현함으로써 VGG 모델이 PapersWithCode 리더보드에서 이전 3위에서 2위까지 상승하였으며, Spinal-VGG 모델을 능가하였습니다. 구체적으로, 표준 크로스 엔트ロ피를 사용할 때 VGG는 95.86%의 분류 정확도를 달성하였지만 Spinal-VGG는 95.88%의 분류 정확도를 달성하였습니다. 반면에 VGG(Spinal-VGG 없이)에서는 MIN-ENT가 95.933%, MIX-ENT가 95.927%의 정확도를 달성하였습니다. MIX-ENT와 MIN-ENT 모두에 대한 사전 훈련된 모델들은 https://github.com/rahmanoladi/minimum entropy project 에서 확인할 수 있습니다.